數據應用工程：方法論與實踐

這是一本講解組織資料能力建設與資料應用工程化的著作，它旨在為企業應用和管理資料提供組織建設、技術體系和行業解決方案方面的理論指導和實踐經驗。
 
本書是幾位元作者在資料領域十幾年工作經驗的總結，得到了業界10余位專家的一致好評。無論是像互聯網行業的資料原生類企業，還是正在數位化轉型的傳統企業，本書將為他們大規模、工程化地發揮資料的價值提供有意的參考。

本書的內容大致分為如下四個方面：

（1）行業分析
從宏觀角度闡述了數位化變革帶來的問題和不確定性，並引出了解決這些問題需要掌握的理論和方法。

（2）理論方法
一方面，詳細講解了企業和組織的技術能力建設發方法、發展規律以及成熟度評估，説明企業打下應用資料的堅實基礎；一方面，詳細介紹了資料應用成熟度模型的評估、運用和設計，以及資料工程的過程和方法。

（3）知識體系
詳細講解了資料治理與管理的方法，以及整個大資料體系的技術與架構。

（4）實踐案例
通過4個綜合案例分別講解了資料工程與治理、業務資料化以及資料的工程化應用，既有企業級別的資料管理案例，還有業務級別的行銷案例，不僅有To B場景，還有To G場景。

讚譽
前言
第一部分　行業分析
第1章 數位化時代的變革與挑戰 2
1.1 數字經濟與生產變革 2
1.1.1 從農業經濟到數字經濟，從土地到資料 3
1.1.2 從規模化生產到個性化定制生產，從IT到DT 8
1.2 數位化時代的變革動能 10
1.2.1 技術發展創造變革 11
1.2.2 “新基建”提速變革 14
1.2.3 商業競爭驅動變革 16
1.2.4 社會治理需要變革 20
1.2.5 政府政策引導變革 22
1.3 數位化變革中的不確定性與挑戰 25
1.3.1 環境不確定性 25
1.3.2 數位化變革的挑戰 30
1.4 本章小結 37

第二部分　理論方法
第2章 技術變革與組織應用技術的規律 40
2.1 組織面對技術變革的三大挑戰 40
2.1.1 新技術不斷湧現，技術選擇的挑戰 41
2.1.2 創新風險很高，技術應用發展規劃的挑戰 45
2.1.3 發展常遇瓶頸，持續提升的挑戰 47
2.2 事物發展的“第一性原理” 48
2.2.1 成熟度 48
2.2.2 成熟度模型 49
2.2.3 成熟度模型分類 51
2.3 技術創新規律與成熟度評估 56
2.3.1 技術發展生命週期規律 56
2.3.2 基於就緒水準的技術研發成熟度評估 57
2.3.3 考慮宣傳期望的技術發展成熟度曲線 59
2.4 組織技術應用的發展規律與成熟度評估 61
2.4.1 指導早期資訊化規劃的諾蘭成長階段模型 62
2.4.2 諾蘭模型在網路時代與智慧時代的擴展 63
2.5 組織技術應用的能力建設規律與成熟度評估 65
2.5.1 從品質方法發展來的能力成熟度模型 65
2.5.2 能力成熟度模型的基礎原理 68
2.5.3 軟體領域廣泛應用的能力成熟度模型 73
2.5.4 資料領域廣泛應用的能力成熟度模型 75
2.6 本章小結 81
第3章 資料應用成熟度模型 82
3.1 模型開發背景 82
3.2 資料應用成熟度模型框架 86
3.2.1 模型框架說明 86
3.2.2 模型階段與維度說明 87
3.3 資料應用成熟度模型評估 88
3.3.1 發展評估—資料應用維度 88
3.3.2 能力評估—資料工程維度 92
3.3.3 能力評估—資料治理維度 94
3.3.4 資料應用成熟度綜合評估 96
3.4 資料應用成熟度模型的運用 101
3.4.1 模型運用流程 101
3.4.2 成熟度進階建議和措施 102
3.5 資料工程過程 104
3.5.1 資料工程過程概述 105
3.5.2 資料理解過程 108
3.5.3 資料設計過程 111
3.5.4 資料處理過程—資料開發 114
3.5.5 資料處理過程—資料分析與資料科學建模 124
3.5.6 資料部署過程 129
3.5.7 資料運營過程 131
3.5.8 資料工程支援過程 133
3.6 資料治理過程 134
3.6.1 資料治理維度概述 134
3.6.2 宏觀決策域 135
3.6.3 核心治理域—基本治理過程 137
3.6.4 核心治理域—綜合治理過程 141
3.7 本章小結 143

第三部分　知識體系
第4章 資料治理與管理 146
4.1 中繼資料管理 147
4.1.1 中繼資料概述 147
4.1.2 中繼資料定義 147
4.1.3 中繼資料分類 148
4.1.4 中繼資料管理詳解 152
4.2 資料品質管理 154
4.2.1 資料品質概述 154
4.2.2 資料品質問題 156
4.2.3 資料品質測量與評價 159
4.2.4 資料品質問題的解決方法 170
4.2.5 如何做好資料品質管理 173
4.3 資料安全管理 175
4.3.1 資料安全的內容與特點 175
4.3.2 資料安全管理流程 179
4.3.3 資料合規要求的法規體系 181
4.3.4 資料安全的基礎合規要求 183
4.3.5 個人資訊處理的專門合規要求 186
4.3.6 資料安全管理的技術和方法 196
4.4 本章小結 207
第5章 大資料技術詳解 208
5.1 大資料技術的方法和流行開源元件 208
5.1.1 大資料的4V特性與技術挑戰 208
5.1.2 大資料技術的主要方法 209
5.1.3 大資料技術的流行開源組件 211
5.2 大資料系統架構 212
5.2.1 MPP資料庫架構 212
5.2.2 Hadoop體系的架構 215
5.2.3 兩種架構的對比 218
5.2.4 存儲與計算分離及雲化的未來架構 220
5.3 大資料存儲技術 221
5.3.1 分散式檔存儲系統 222
5.3.2 分散式資料庫系統 225
5.3.3 分散式消息傳遞系統 232
5.4 大資料計算技術 234
5.4.1 離線批次處理 234
5.4.2 即時流處理 236
5.5 大資料分析技術 239
5.5.1 OLAP技術介紹 239
5.5.2 即時OLAP系統的兩種架構模型 240
5.5.3 OLAP相關技術分類 241
5.5.4 OLAP技術典型流行產品示例 242
5.6 資料科學技術 244
5.6.1 機器學習的基礎概念 244
5.6.2 有監督機器學習演算法 250
5.6.3 無監督機器學習演算法 260
5.7 本章小結 264

第四部分　實踐案例
第6章 資料工程與治理案例——移動大資料的資料處理實踐 266
6.1 統一的大資料工程與治理架構 266
6.2 資料倉庫設計 268
6.2.1 資料模型架構設計 269
6.2.2 資料管理規範設計 270
6.2.3 資料規格設計 276
6.3 大資料日誌收集技術 278
6.3.1 Web日誌收集技術 278
6.3.2 移動端日誌收集技術 280
6.3.3 埋點技術與埋點實現 283
6.4 資料處理設計 291
6.4.1 資料處理技術架構設計 291
6.4.2 資料處理流程設計 293
6.5 資料科學建模 295
6.5.1 資料科學建模工程流程示例 295
6.5.2 面向資料安全的Embedding資料特徵提取方法與應用實例 300
6.5.3 基於移動設備行為資料的人口屬性性別標籤預測模型反覆運算實例 304
6.6 資料治理 309
6.6.1 資料治理平臺的目標 309
6.6.2 資料治理平臺的功能架構 310
6.6.3 中繼資料管理 314
6.6.4 血緣查詢與告警 317
6.6.5 資料資產統計 318
6.6.6 其他功能模組示例 322
6.7 本章小結 325
第7章 資料工程過程案例——企業CDP建設中的資料工程實踐 326
7.1 CDP平臺的資料來源梳理 328
7.1.1 資料來源梳理過程的輸入和輸出 329
7.1.2 瞭解客戶的業務及流程 330
7.1.3 瞭解客戶的系統 330
7.1.4 瞭解客戶的資料 331
7.2 CDP平臺的標籤體系及其口徑梳理 333
7.2.1 標籤體系及其口徑梳理過程的輸入和輸出 333
7.2.2 標籤體系內容說明 334
7.2.3 標籤體系梳理 336
7.2.4 標籤口徑梳理 339
7.3 CDP平臺的資料同步介面定義 341
7.3.1 資料同步介面定義過程的輸入和輸出 341
7.3.2 關於ETL和ELT 342
7.3.3 資料同步介面定義 342
7.4 CDP平臺的資料模型設計 345
7.4.1 關於資料模型設計過程的輸入與輸出 345
7.4.2 資料模型設計 346
7.4.3 資料模型的應用 351
7.5 CDP平臺的ETL設計 352
7.5.1 ETL設計過程的輸入和輸出 353
7.5.2 ETL設計 353
7.6 CDP平臺的ETL開發 357
7.6.1 ETL開發過程的輸入和輸出 357
7.6.2 ETL開發流程 358
7.7 CDP平臺的資料運維 359
7.7.1 運維過程的輸入與輸出 359
7.7.2 運維工作內容 360
7.8 本章小結 362
第8章 資料應用案例——大資料統計分析與個性化行銷 363
8.1 統計級大資料應用——移動應用統計分析系統 363
8.1.1 業務背景 364
8.1.2 產品技術設計 367
8.1.3 具體實現示例與說明 379
8.2 個體級大資料應用——行銷資料管理平臺 382
8.2.1 產品背景 382
8.2.2 產品設計 382
8.2.3 具體實現示例 391
8.3 本章小結 392
第9章 資料應用案例——基於空間大資料的土地資源數位化精准監管 393
9.1 案例背景 393
9.2 資料處理過程 394
9.3 數位化的土地執法監管應用 398
9.4 本章小結 401

附錄
附錄A 成熟度模型的構建方法 404
附錄B 資料應用成熟度模型設計說明 408
附錄C 資料合規要求的法規檔匯總 411

鐘大偉
中科院博士，資深大資料專家，擁有15年技術開發和管理經驗，一直從事資料處理、大資料研發和資料治理相關的工作。從地圖資料處理到大資料處理，帶領過多個資料研發團隊、資料分析團隊、資料治理團隊，擁有豐富的資料工程經驗。掌握資料生產管理方法，熟悉資料產品設計，對資料治理理論有深入全面的研究。在資料資產管理、生命週期管理、中繼資料管理、資料品質管理、資料安全合規管理等方面有豐富的實踐經驗。

高鐸
某頭部互聯網公司資深專家，擁有10餘年資料行銷、資料治理和資料應用領域工作經驗。曾任職TalkingData、百度等公司，參與產品規劃、管道運營、技術管理、銷售管理、解決方案等不同類型工作。多次在烏鎮世界互聯網大會、全球移動互聯網大會（GMIC）、中國國際數碼互動娛樂展覽會（ChinaJoy）等大會作為演講嘉賓；曾擔任國內數個年度行銷獎項（如金網獎、金滑鼠、艾菲獎、MMA、靈犀獎等）評審嘉賓；參與主辦過4屆中國年度移動應用風雲榜。有5項國家公開授予的LBS相關專利，發表EI索引AI相關論文4篇。

王鵬
人工智慧和大資料領域的資深專家，有超過15年的資料應用和實踐經驗。現在就職於百度，擔任百度工業大資料&工業互聯網產品負責人，曾就職于高德、四維圖新、TalkingData，從事資料治理、資料產品相關工作。在大資料和人工智慧領域有深厚的積澱，擅長通過資料採擷業務機會，有豐富的資料治理和GIS領域資料經驗，對於資料在行銷、風控、工業、政府等多個領域應用經驗豐富。

宋超
現就職於河南省自然資源電子政務中心，擁有10餘年自然資源資料管理經驗。在自然資源大資料應用領域積累深厚，精通自然資源管理業務、業務流程重組以及模型搭建技術。先後參與10余項省級以上科研項目研究，近年來獲省部級、省級科技進步獎等多項獎勵，發表核心科技期刊論文多篇。