大數據計算系統：原理、技術與應用






	購買中國簡體書籍請注意： 1. 因裝幀品質及貨運條件未臻完善，中國簡體書可能有出現磨痕、凹痕、折痕等問題，故簡體字館除封面破損、內頁脫落、缺頁等較嚴重的狀態外，其餘所有商品將正常出貨。


	目錄前言第一部分　基礎第1章　大數據計算系統概述2 1.1　大數據計算系統的定義2 1.1.1　大數據2 1.1.2　大數據計算4 1.1.3　大數據計算系統4 1.2　常見的大數據計算系統6 1.2.1　批次處理計算框架Hadoop6 1.2.2　分散式運算框架Spark6 1.2.3　流計算系統Storm7 1.2.4　分散式圖計算框架GraphX7 1.2.5　大數據計算系統的對比7 1.3　大數據計算系統的監控與運維概述7 1.3.1　概述7 1.3.2　監控與運維的範圍8 1.3.3　大數據計算系統的監控與運維方法8 1.3.4　大數據計算系統的運維目標9 1.4　大數據計算系統的性能優化10 1.4.1　提升大數據計算系統性能的途徑10 1.4.2　提升大數據計算系統性能的難度11 1.4.3　運維與性能優化的關係12 習題112 第二部分　應用實現第2章　Hadoop的配置與程式設計14 2.1　批次處理計算框架概述14 2.1.1　計算框架14 2.1.2　批次處理15 2.2　Hadoop環境的配置與搭建15 2.2.1　環境配置前的準備15 2.2.2　Hadoop安裝的預備知識16 2.2.3　本地/獨立模式的配置17 2.2.4　偽分散式模式的配置18 2.2.5　全分散式模式的配置20 2.3　一個簡單示例22 2.3.1　環境與資料的準備22 2.3.2　在IDEA下建立基於MavenHadoop項目23 2.3.3　編寫WordCount程式26 2.3.4　Hadoop程式的運行過程與結果查看29 2.4　MapReduce程式設計30 2.4.1　MapReduce計算模型30 2.4.2　MapReduce程式的運行過程32 2.4.3　去重38 習題241 第3章　HDFS及其應用42 3.1　HDFS概述42 3.2　HDFS Shell43 3.2.1　概述43 3.2.2　幫助的使用方法44 3.2.3　通用命令列操作45 3.3　HDFS目錄與資料的流覽47 3.4　HDFS API48 3.4.1　概述48 3.4.2　讀檔操作48 3.4.3　寫檔操作48 3.4.4　FileUtil文件處理49 3.4.5　HDFS API應用示例51 習題357 第4章　Spark的配置與程式設計58 4.1　Spark環境的安裝與部署59 4.1.1　Spark的安裝59 4.1.2　Scala的安裝60 4.1.3　Spark的源碼編譯61 4.1.4　搭建Spark單機版環境64 4.1.5　搭建Spark獨立運行環境66 4.1.6　搭建Spark on YARN環境68 4.1.7　Spark的高可用性部署70 4.2　Spark的運行72 4.2.1　Spark程式運行概述72 4.2.2　Spark的本地運行過程73 4.2.3　獨立運行模式74 4.2.4　Spark on YARN的運行過程75 4.2.5　獨立運行模式與YARN模式的比較76 4.3　Spark Scala程式設計76 4.3.1　Scala的語法76 4.3.2　Scala程式設計入門82 4.3.3　Spark API的使用86 4.3.4　用Scala開發Spark應用程式的案例88 4.3.5　程式運行過程的分析93 習題495 第5章　Storm的配置與程式設計96 5.1　流計算概述96 5.2　Storm概述98 5.2.1　什麼是Storm98 5.2.2　Storm的特徵98 5.3　Storm開發環境的搭建99 5.3.1　Storm環境的配置99 5.3.2　命令列用戶端102 5.3.3　IDEA下建立Storm的Maven項目107 5.4　Storm程式設計109 5.4.1　可以與Storm集成的系統109 5.4.2　計算模型109 5.4.3　可以使用任何語言110 5.4.4　簡單的API110 5.5　Storm程式設計示例—單詞計數110 5.5.1　實現目標110 5.5.2　建立編寫程式的包名111 5.5.3　編寫spouts檔Word-Reader112 5.5.4　編寫bolts檔Word-Normalizer114 5.5.5　編寫bolts檔WordCounter115 5.5.6　編寫主函數檔Topologoy-Main116 5.5.7　通過主函數檔Topologoy-Main運行程式117 習題5117 第6章　GraphX及其應用118 6.1　圖計算概述118 6.1.1　圖118 6.1.2　屬性圖119 6.1.3　圖計算119 6.1.4　支援圖計算的GraphX120 6.2　GraphX程式設計120 6.2.1　GraphX項目的導入120 6.2.2　GraphX中屬性圖的表達120 6.2.3　圖操作符121 6.3　GraphX程式設計示例126 6.3.1　一個簡單的GraphX示例126 6.3.2　GraphX應用程式設計—子圖發現129 6.3.3　GraphX應用程式設計—PageRank130 習題6132 第三部分　原理第7章　Hadoop的原理134 7.1　Hadoop的體系結構134 7.2　MapReduce的工作機制135 7.2.1　背景135 7.2.2　計算的執行流程137 7.2.3　計算的本地性138 7.3　MapReduce作業的運行機制139 7.3.1　經典的MapReduce139 7.3.2　YARN145 7.4　作業的調