HBase入門與實踐（第2版)

第 1 章 HBase 簡介 1

1 1 背景 1

1 2 NoSQL 與傳統 RDBMS 2

1 3 應用場景 3

1 3 1 Facebook 用戶交互 3

1 3 2 淘寶 TLog 3

1 3 3 小米雲服務 4

1 3 4 使用者行為資料存儲 4

第 2 章 HBase 安裝 5

2 1 單機部署 5

2 1 1 前置條件 5

2 1 2 下載 HBase 6

2 1 3 配置 HBase 6

2 1 4 啟動 HBase 7

2 1 5 HBase 初體驗 7

2 2 分散式部署 8

2 2 1 環境準備 9

2 2 2 ZooKeeper 安裝 11

2 2 3 Hadoop 安裝 12

2 2 4 HBase 安裝 23

2 2 5 啟動集群 28

2 3 集群增刪節點 29

2 3 1 增加節點 29

2 3 2 刪除節點 30

第 3 章 HBase 的資料模型 33

3 1 邏輯模型 33

3 2 物理模型 35

第 4 章 HBase Shell 39

4 1 資料定義語言 39

4 1 1 創建表 39

4 1 2 查看所有表 40

4 1 3 查看已創建的表 40

4 1 4 修改表 41

4 2 資料操縱語言 41

4 2 1 put 命令 41

4 2 2 get 命令 42

4 2 3 scan 命令 43

4 2 4 delete 命令、deleteall 命令和

truncate 命令 45

4 3 其他常用的 Shell 命令 46

4 3 1 複製狀態查看 46

4 3 2 分區拆分 47

4 3 3 分區大合併 47

4 3 4 負載均衡開關 47

4 3 5 分區手動遷移 47

4 3 6 HBase 運行 Ruby 腳本 48

第 5 章 模式設計 49

5 1 行鍵設計 50

5 2 規避熱點區間 52

5 3 高表與寬表 54

5 4 微信朋友圈設計 55

5 4 1 需求定義 55

5 4 2 問題建模 55

第 6 章 用戶端 API 61

6 1 Java 用戶端使用 61

6 2 資料定義語言 64

6 2 1 表管理 64

6 2 2 分區管理 67

6 3 資料操縱語言 69

6 3 1 Put 操作 69

6 3 2 Get 操作 72

6 3 3 Scan 操作 74

6 3 4 Delete 操作 77

6 3 5 Increment 操作 79

6 4 篩檢程式 82

6 4 1 篩檢程式簡介 82

6 4 2 篩檢程式使用 83

6 5 事務 101

6 5 1 原子性 102

6 5 2 隔離性 102

第 7 章 架構實現 109

7 1 存儲 109

7 1 1 B+樹 109

7 1 2 LSM 樹 110

7 1 3 預寫入日誌 111

7 2 資料寫入與讀取 114

7 2 1 定位分區伺服器 114

7 2 2 資料修改流程 116

7 2 3 資料查詢流程 119

7 3 合併策略 121

7 3 1 StripeCompaction 策略 121

7 3 2 DateTieredCompaction 策略 121

7 3 3 RatioBasedCompaction 策略 121

7 3 4 ExploringCompaction 策略 123

7 3 5 FIFOCompaction 策略 124

第 8 章 輔助處理器 125

8 1 觀察者類型輔助處理器 125

8 2 端點類型輔助處理器 129

8 3 載入/卸載輔助處理器 133

8 3 1 靜態載入/卸載 133

8 3 2 動態載入/卸載 134

第 9 章 HBase 性能調優 141

9 1 用戶端調優 141

9 1 1 設置用戶端寫入緩存 141

9 1 2 設置合適的掃描緩存 143

9 1 3 跳過 WAL 寫入 143

9 1 4 設置重試次數與間隔 143

9 1 5 選用合適的篩檢程式 144

9 2 伺服器端調優 144

9 2 1 創建表語句的優化 145

9 2 2 禁止分區自動拆分與合併 148

9 2 3 開啟機櫃感知 150

9 2 4 開啟短路本地讀 152

9 2 5 開啟補償重試讀 152

9 2 6 JVM 記憶體調優 153

第 10 章 集群間資料複製 161

10 1 複製 162

10 1 1 集群拓撲 163

10 1 2 配置集群複製 163

10 1 3 驗證複製資料 166

10 1 4 複製詳解 168

10 2 快照 173

10 2 1 配置快照 173

10 2 2 管理快照 173

10 3 匯出和導入 175

10 3 1 匯出 176

10 3 2 導入 177

10 4 複製錶 178

第 11 章 監控 181

11 1 Hadoop 監控 181

11 1 1 Web 監控頁面 182

11 1 2 JMX 監控介面 184

11 2 HBase 監控 187

11 2 1 Web 監控頁面 187

11 2 2 JMX 監控介面 189

11 2 3 用戶端 API 監控 191

附錄 A 常見問題 193

A 1 垃圾回收超時導致分區伺服器宕機 193

A 2 Scanner 租期過期 196

A 3 分區遷移異常 197

A 4 Windows 運行 HBase 程式缺少winutil exe 200

A 5 誤刪表數據 201

A 6 RIT 時間過長導致不同分區行鍵資料有重疊 203

彭旭，2009年畢業于武漢大學軟體工程專業，具有十多年的國內頂尖互聯網企業工作經驗，曾任阿裡巴巴天貓技術部資深軟體工程師和珠海市魅族科技有限公司架構師，精通Java生態系統相關技術，HBase實踐經驗豐富，對傳統關係型數據庫跟面向列式存儲的HBase都有深刻的理解，擅長大資料存儲、HBase線上系統的調優。