大數據應用技術：原理+技術+實戰

本書主要結合當前流行的大數據框架Hadoop、HBase、Hive、、Storm、Flume、Kafka、Spark、Spark GraphX，採用案例形式系統地講解大數據應用技術的相關知識。
 
全書共有8章，分別介紹了大數據概論、大數據基礎知識、大數據檔案存儲系統、大數據檔案存儲系統、大數據計算技術、大數據應用程式協調服務、大數據存儲應用技術、大數據倉庫應用技術、大數據即時應用技術。為了讓讀者能夠及時地檢驗自己的學習效果，把握自己的學習進度，各章後面都附有相應的習題。
 
本書提供豐富的配套資源，包括教學課件PPT、習題參考答案等，讀者可登錄人郵教育社區（www.ryjiaoyu.com.cn）進行下載。
 
本書既可以作為高等院校大數據及其相關專業的教材，又可以作為大數據相關技術人員自學的參考書。

第一章 大數據概論
1.1數據的基本概念
1.1.1什麼是數據
1.1.2數據組成結構
1.1.3數據的價值
1.2什麼是大數據
1.2.1大數據產生背景
1.2.2大數據發展的原動力
1.2.3大數據基本概念與特徵
1.2.4大數據與雲計算
1.2.5大數據與人工智慧
1.3大數據主要技術
1.3.1概述
1.3.2大數據獲取與處理
1.3.3大數據存儲技術
1.3.4大數據計算技術
1.3.5大數據視覺化
1.3.6大數據安全
1.4大數據主流框架
1.4.1Hadoop
1.4.2ZooKeeper
1.4.3HBase
1.4.4Hive
1.4.5Storm
1.4.6Flume
1.4.7Kafka
1.5本章小結
1.6習題

第2章 大數據基礎知識
2.1概述
2.1.1Hadoop產生背景
2.1.2Hadoop核心模組
2.1.3Hadoop相關專案
2.2Common
2.3HDFS
2.3.1HDFS設計思想
2.3.2HDFS體系結構
2.3.3檔案系統命名空間
2.3.4數據複製
2.3.5副本放置策略
2.3.6副本選擇
2.3.7安全模式
2.3.8中繼數據的持久性
2.3.9通信協議
2.3.10健壯性
2.4YARN
2.5MapReduce
2.6Hadoop應用場景
2.7Hadoop環境配置
2.7.1Hadoop配置基礎知識
2.7.2Hadoop安裝模式
2.7.3Hadoop版本選擇
2.7.4Hadoop偽分佈模式搭建
2.8基於Hadoop平臺的IDEA開發環境撘建
2.8.1Maven項目的創建
2.8.2編寫經典的MapReduce程式WordCount
2.9本章小結
2.10習題

第3章 大數據檔案存儲系統
3.1數據塊
3.2HDFS工作流
3.2.1HDFS寫數據過程
3.2.2HDFS讀數據過程
3.3HDFS應用程式設計
3.3.1HDFSShell命令
3.3.2Web介面
3.3.3HDFSAPI
3.3.4HDFSAPI寫操作
3.3.5HDFSAPI讀操作
3.4HDFS存儲格式
3.5HadoopI/O
3.5.1壓縮
3.5.21/0序列化類型
3.6本章小結
3.7習題

第4章 大數據計算技術
4.1MapReduce運行過程
4.2MapReduce程式設計過程
4.3MapReduce數據類型
4.4Mapper輸入
4.5Shuffle原理
4.5.1Shuffle工作原理
4.5.2自訂分區
4.5.3自訂排序
4.5.4自訂分組
4.6Combiner本地合併優化
4.7Reducer輸出
4.8計數器
4.9MapReduce應用開發
4.9.1優選小計數值
4.9.2全排序
4.9.3二次排序
4.10本章小結
4.11習題

第5章 大數據應用程式協調服務
5.1ZooKeeper概述
5.1.1ZooKeeper簡介
5.1.2ZooKeeper常用術語
5.1.3ZooKeeper設計目標
5.1.4數據模型和分層命名空間
5.1.5ZooKeeper工作原理
5.2ZooKeeper集群搭建
5.2.1集群規劃
5.2.2ZooKeeper集群安裝
5.3ZooKeeper與Hadoop高可用性
5.4Hadoop高可用性集群部署
5.4.1集群規劃
5.4.2集群部署
5.5本章小結
5.6習題

第6章 大數據存儲應用技術
6.1HBase基礎知識
6.1.1HBase產生背景
6.1.2HBase數據模型
6.1.3HBase體系結構
6.1.4HBase與HDFS
6.1.5HBase應用場景
6.2HBase開發環境配置
6.2.1HBase配置前的準備工作
6.2.2HBase配置基礎知識
6.2.3HBase集群環境配置
6.3HBaseShell
6.4HBaseAPI
6.4.1管理表結構
6.4.2管理表資訊
6.4.3資訊查詢
6.5HBase表設計
6.6本章小結
6.7習題

第7章 大數據倉庫應用技術
7.1Hive基礎知識
7.1.1Hive產生背景
7.1.2Hive體系結構
7.1.3Hive執行流程
7.1.4Hive應用場景
7.2Hive開發環境配置
7.2.1Hive配置基礎知識
7.2.2Hive安裝模式
7.2.3Hive遠端安裝模式實戰
7.3Hive命令
7.3.1Hive交互命令介面Shell簡介
7.3.2Hive非交互介面執行簡介
7.4Hive開發基礎知識
7.4.1數據類型與文字檔編碼
7.4.2數據讀取模式
7.4.3Hive關鍵字
7.5Hive基本操作
7.5.1Hive數據庫管理操作
7.5.2Hive表管理操作
7.5.3Hive查詢基本語法規則
7.5.4Hive基本查詢
7.5.5Hive不錯查詢
7.5.6HiveJOIN查詢
7.6HiveAPI
7.7本章小結
7.8習題

第8章 大數據即時應用技術
8.1Storm基礎知識
8.1.1Storm基本概述
8.1.2Storm特徵
8.1.3Storm系統結構
8.1.4Storm運行原理
8.1.5Storm應用場景
8.2Storm開發環境安裝
8.2.1Storm配置基礎知識
8.2.2Storm快速部署
……

王國珺，副教授，從事高校電腦教育近20年，主要研究方向為大資料、機器學習，近期主持省級課題1項，廳級課題1項，參與省級課題1項，公開發表論文5篇。