騰訊大數據構建之道

前言
第1章打造騰訊大資料平臺1
1.1騰訊大數據的緣起3
1.2騰訊大數據的構建理念5
1.3騰訊大資料的總體架構7

第2章資料即時採集平臺11
2.1接入層挑戰12
2.2接入管理層TDManager14
2.3資料獲取17
2.4資料匯流排23
2.5消息中介軟體30
2.6數據分揀40
2.7接入層展望44

第3章分散式存儲平臺46
3.1檔存儲HDFS47
3.2統一存儲Ceph62
3.3下一代大資料存儲Ozone77
3.4KV存儲HBase88

第4章分散式運算平臺99
4.1批次處理MapReduce100
4.2批次處理Spark107
4.3批次處理漂移計算SuperSQL123
4.4流處理Flink146
4.5SQL資料倉庫Hive165
4.6任務調度175

第5章資料分析引擎184
5.1關聯式OLAP：騰訊即時多維分析平臺185
5.2關聯式OLAP：ClickHouse200
5.3多維OLAP：Kylin211
5.4多維OLAP：Druid222

第6章資源調度平臺234
6.1Yarn專案背景235
6.2調度器性能優化241
6.3集群的高可用性244
6.4多資源維度彈性管理254

第7章資料治理體系261
7.1中繼資料262
7.2資料資產管理271
7.3大資料安全283

第8章機器學台298
8.1圖智能平臺299
8.2Angel310
8.3聯邦學習333

第9章資料內容挖掘350
9.1概覽351
9.2廣告內容挖掘352
9.3使用者畫像資料體系365
9.4用戶畫像構建方法366
9.5資料內容挖掘與379
9.6資料內容挖掘與AI創作380

第10章大資料平臺運營384
10.1大資料服務規劃385
10.2大資料平臺治理393
10.3自動化運維體系構建397
10.4平臺運營成本優化404
10.5大資料運營分析與應用體系408

第11章大資料平臺產品設計410
11.1TBDS大資料處理套件411
11.2Oceanus即時流式資料處理平臺419
11.3ideX資料分析與探索挖掘工具425
11.4智慧鈦TI機器學台429

第12章企業級容器雲平臺GaiaStack438
12.1GaiaStack產品背景和目標439
12.2GaiaStack架構和技術特點446
12.3GaiaStack核心技術454

第13章大資料應用服務503
13.1智慧客服機器人504
13.2移動推送526
13.3資料視覺化產品小馬BI535
參考文獻549