大數據導論

第 1 章  大數據概述 1
1.1 大數據的產生及其特徵 2
1.1.1 大數據的產生 2
1.1.2 大數據的特徵 2
1.2 大數據發展 5
1.2.1 大數據發展歷程 5
1.2.2 國外大數據戰略 6
1.2.3 中國大數據戰略與政策 7
1.2.4 大數據立法和標準 8
1.3 大數據思維 9
1.3.1 大數據的價值 9
1.3.2 大數據的思維變革 10
1.4 大數據應用 12
1.4.1 大數據應用層次 12
1.4.2 大數據應用領域 13
1.5 大數據技術與工具 15
1.5.1 大數據處理流程 15
1.5.2 大數據行業全景圖 15
1.5.3 大數據分析平臺 17
1.5.4 大數據程式設計語言 18
1.6 本章小結 20
1.7 習題 20

第 2 章  大數據採集與預處理 21
2.1 概述 22
2.2 大數據的來源 23
2.3 大數據的採集方法 24
2.3.1 數據庫採集 25
2.3.2 系統日誌採集 25
2.3.3 網路數據採集 25
2.3.4 其他數據採集 26
2.4 大數據預處理方法 27
2.4.1 數據清洗 27
2.4.2 數據集成 30
2.4.3 數據變換 30
2.5 大數據採集與預處理工具 32
2.5.1 網路爬蟲 Scrapy 32
2.5.2 流數據採集 Kafka 36
2.5.3 ETL 工具 Kettle 38
2.6 本章小結 43
2.7 習題 44

第 3 章  大數據存儲與管理技術 45
3.1 大數據存儲與管理技術概述 46
3.2 分散式檔案系統 46
3.2.1 HDFS 47
3.2.2 Ceph 53
3.2.3 GlusterFS 55
3.3 NoSQL 數據庫 57
3.3.1 鍵值數據庫 58
3.3.2 列族數據庫 59
3.3.3 文檔數據庫 62
3.3.4 圖數據庫 62
3.4 大數據查詢系統 63
3.4.1 大數據查詢系統概述 63
3.4.2 Dremel 64
3.5 數據倉庫 65
3.5.1 數據倉庫的特點 65
3.5.2 關聯式數據倉庫體系結構 67
3.5.3 數據倉庫 Hive 68
3.5.4 數據倉庫 Impala 70
3.6 本章小結 72
3.7 習題 72

第 4 章  大數據處理與分析系統 73
4.1 概述 74
4.2 穀歌大數據處理系統 74
4.2.1 GFS 74
4.2.2 MapReduce 76
4.2.3 BigTable 76
4.3 分散式運算框架 Hadoop MapReduce 77
4.3.1 Hadoop MapReduce 概述 77
4.3.2 Hadoop MapReduce 應用舉例 79
4.4 快速計算框架 Spark 83
4.4.1 Spark 簡介 83
4.4.2 Spark 運行架構 86
4.4.3 Spark 的部署方式 86
4.4.4 Spark 的數據抽象 RDD 87
4.4.5 Spark MLlib 88
4.4.6 Spark Streaming 89
4.4.7 Spark SQL 91
4.4.8 Spark GraphX 92
4.5 其他大數據分析系統 94
4.5.1 圖計算系統 Pregel 95
4.5.2 流處理系統 Flink 96
4.6 本章小結 97
4.7 習題 97

第 5 章  大數據機器學習 98
5.1 機器學習簡介 99
5.1.1 機器學習的定義 99
5.1.2 機器學習的分類 99
5.1.3 機器學習的歷史 102
5.1.4 機器學習與數據挖掘的關係 106
5.2 數據 107
5.2.1 數據概述 107
5.2.2 帶有標籤的數據和不帶標籤的數據 107
5.2.3 訓練數據、測試數據、驗證數據 108
5.3 有監督學習 109
5.3.1 有監督學習簡介 109
5.3.2 回歸 109
5.3.3 分類 112
5.3.4 常見的有監督學習方法 114
5.4 無監督學習 119
5.4.1 無監督學習簡介 119
5.4.2 聚類 119
5.4.3 關聯分析 122
5.5 強化學習 123
5.5.1 強化學習簡介 123
5.5.2 強化學習主流演算法 125
5.5.3 強化學習的使用場景 126
5.6 弱監督學習 127
5.6.1 弱監督學習簡介 127
5.6.2 弱監督學習的分類 127
5.7 機器學習的相關資源與工具 128
5.8 本章小結 130
5.9 習題 131

第 6 章  數據視覺化 132
6.1 視覺化概述 133
6.1.1 視覺化的含義 133
6.1.2 視覺化的發展歷程 133
6.1.3 視覺化的作用 134
6.2 數據視覺化及其分類 135
6.2.1 科學視覺化 135
6.2.2 信息視覺化 136
6.2.3 視覺化分析學 137
6.3 數據視覺化工具 138
6.3.1 入門級工具 138
6.3.2 資訊圖表工具 138
6.3.3 地圖工具 141
6.3.4 基於程式設計語言的視覺化庫 142
6.4 本章小結 144
6.5 習題 144

第 7 章  大數據行業應用案例 145
7.1 大數據行業應用概述 146
7.2 政務大數據 146
7.3 交通大數據 150
7.3.1 人群生活模式劃分 151
7.3.2 道路擁堵模式預測 156
7.4 征信大數據 160
7.4.1 企業征信大數據應用 160
7.4.2 企業法人資產建模實踐 168
7.5 畫像大數據 171
7.5.1 用戶畫像概述 171
7.5.2 構建使用者畫像流程 172
7.5.3 構建用戶畫像 175
7.5.4 用戶畫像評估和使用 181
7.6 本章小結 182
7.7 習題 182

第 8 章  大數據平臺與實驗環境 183
8.1 大數據平臺與環境概述 184
8.1.1 大數據平臺簡介 184
8.1.2 搭建環境簡介 186
8.2 安裝虛擬機器 186
8.3 在虛擬機器中安裝 Linux 系統 189
8.4 為 Ubuntu 系統組態 Java 開發環境 191
8.5 在 Ubuntu 系統中安裝 Hadoop 197
8.5.1 查詢和更改主機名稱 198
8.5.2 更改 host 文件 199
8.5.3 認證 SSH 實現無密碼登錄 200
8.5.4 複製 Hadoop 2.6.0 到指定目錄並解壓 202
8.5.5 設定檔 203
8.5.7 啟動、驗證和關閉 Hadoop 211
8.6 安裝 Eclipse 和 Eclipse-hadoop-plugin 214
8.6.1 安裝 Eclipse 214
8.6.2 配置 Eclipse-hadoop-plugin 214
8.7 新建、導入、運行與調試 Hadoop 工程 216
8.7.1 新建 Hadoop 工程 216
8.7.2 導入已有的 Hadoop 工程 217
8.7.3 運行 Hadoop 工程 219
8.7.4 調試 Hadoop 工程 223
8.8 本章小結 226
8.9 習題 226

第 9 章  大數據治理 227
9.1 大數據治理體系 228
9.2 大數據法律政策 229
9.3 大數據行業標準 231
9.4 大數據治理內容 234
9.5 大數據倫理風險 237
9.6 本章小結 240
9.7 習題 240

主要參考文獻 241
 

于俊偉，男，1980年5月生，博士，副教授，碩士生導師，2010年畢業於中國科學院自動化研究所，現任職河南工業大學人工智慧與大數據學院，主要從事電腦視覺和數據科學等方向的研究和教學工作。主持國家自然科學基金、河南省重點研發與推廣專項、河南省高校重點科研專案等多項科研專案，發表學術論文10餘篇，主持翻譯與編著數據科學、電腦視覺等方面著作5部。
 
母亞雙，男，1987年04月生，博士，碩士生導師，現就職于河南工業大學人工智慧與大數據學院，河南工業大學大數據分析處理科研團隊負責人。主要從事機器學習、大數據分析與處理等方向的研究。近年來，主持國家自然科學基金項目1項，河南省科技攻關項目1項，教育部糧食資訊處理與控制重點實驗室開放課題1項，河南工業大學青年骨幹教師資助專案1項；參與國家自然科學基金面上專案2項，國家自然科學基金青年項目1項，省部級以上項目多項，企事業單位橫向課題多項；在《Pattern Recognition》《Information Science》等重要學術期刊和國際會議上發表論文二十餘篇；申請國家發明專利2項。
 
閆秋玲，1981年2月生，博士，講師。研究方向是數據挖掘。以第一作者發表論文5篇，發明專利授權一項。主持河南省科技攻關項目一項，河南省教育廳自然科學項目一項。主編教材《大學電腦基礎》，參與翻譯教材《數據庫系統實現》《人工智慧》。