Docker數據中心及其內核技術

本書作為數據科學、計算機、網路工程、資訊管理院校本科生/研究生的高端教材，適合具有一定計算機基礎知識的讀者學習，也可作為資料分析師、系統架構師、企業IT主管、系統管理員學習資料中心的培訓教材，以及各企（事）業組織實施資訊化建設、流程再造、大資料的生態系統構建和資訊化基礎知識訓練的參考書。

第1部分　Docker數據中心導論

第1章　數據中心概述002
1.1　數據中心的概念與發展歷程 ·002
1.1.1　數據中心的概念 ·002
1.1.2　數據中心總體結構 ·005
1.1.3　數據中心技術框架 ·005
1.1.4　數據中心發展歷程 ·006
1.1.5　數據中心的發展 ·010
1.2　Docker數據中心介紹 011
1.2.1　Docker數據中心概述 ·012
1.2.2　Docker數據中心的功能 ·013
1.2.3 Docker數據中心的特點 ·016
1.2.4　關於Docker.Inc ·018
1.3　數據中心的建設規範與規劃 ·019
1.3.1　數據中心的建設目標 ·019
1.3.2　數據中心的建設任務 ·019
1.3.3　基礎設施規劃 ·020
1.3.4　主機系統規劃 ·022
1.3.5　存儲系統 ·025
1.3.6　數據中心應用規劃 ·026
1.3.7　安全保障體系規劃 ·028
1.3.8　數據備份與容災規劃 ·030

第2章　數據中心管理031
2.1　數據中心管理及其制度 ·031
Docker數據中心及其內核技術
VI
2.1.1　數據中心管理概述 ·032
2.1.2　數據中心管理制度的建立 ·033
2.2　數據中心運行的日常管理 ·034
2.2.1　軟體資源管理 ·034
2.2.2　硬體資源管理 ·035
2.2.3　運行安全管理 ·037
2.2.4　運行日誌記錄 ·042
2.2.5　運行故障管理 ·045
2.2.6　運行文檔管理 ·050
2.3　數據中心網路性能指標融合 ·051
2.3.1　數據中心網路結構 ·051
2.3.2　管理指標體系 ·053
2.3.3　性能指標數據融合模型 ·054
2.3.4　性能指標數據融合演算法 ·056

第3章　容器技術057
3.1　容器的概念 ·057
3.1.1　容器的定義 ·057
3.1.2　容器技術的歷史 ·058
3.1.3　容器的功能特點 ·059
3.1.4　容器技術引發的變革 ·060
3.1.5　容器的重要概念 ·062
3.2　Docker容器 066
3.2.1　Docker的誕生 ·066
3.2.2　Docker架構 ·066
3.2.3　Docker工作原理 ·068
3.2.4　Client 和Daemon 073
3.2.5　從Client 到Daemon ·078
3.2.6　libcontainer 079
3.2.7 容器的管理 ·086
3.3　Windows容器 ·090
3.3.1　Windows 容器的類型 ·090
3.3.2　Windows Server 上的 Windows 容器 ·090
3.3.3　Windows 10 上的 Windows 容器 ·091
3.3.4　部署 Windows 容器 093

第4 章　微服務技術099
4.1　微服務的概念 ·099
4.1.1　微服務的定義 ·099
4.1.2　微服務的架構及其與ESB 架構的關係 101
4.1.3　微服務的優勢與不足 ·101
4.2　建模與服務 ·102
4.2.1　限界上下文 ·102
4.2.2　業務功能 ·104
4.2.3　逐步劃分上下文 ·104
4.2.4　關於業務概念的溝通 ·105
4.3　微服務的集成 ·105
4.3.1　為使用者創建介面 ·105
4.3.2　共用數據庫 ·105
4.3.3　同步與非同步 ·106
4.3.4　編排與協同 ·107
4.3.5　遠程程序呼叫（RPC）109
4.3.6 表述性狀態轉移 ·110

第2 部分　Docker 數據中心理論基礎

第5 章　Docker 通用控制台·112
5.1　Docker 通用控制台概覽 112
5.1.1　集中管理集群 ·113
5.1.2　部署、管理和監控 ·113
5.1.3　內置安全和存取控制 ·114
5.2　通用控制台的架構 ·114
5.2.1　通用控制台的工作原理 ·115
5.2.2　Docker 通用控制台的內部元件·116
5.2.3　管理器節點中的Docker 通用控制台組件116
5.2.4　工作節點中的Docker 通用控制台元件117
5.2.5　Docker 通用控制台使用的卷·117
5.2.6　如何與Docker 通用控制台進行互動117
5.3　通用控制台的管理 ·118
5.3.1　安裝 ·118
5.3.2 配置 ·130
5.3.3　管理用戶 ·153
5.3.4　監視和排除故障 ·160
5.3.5 備份和災難恢復 ·166
5.4　訪問通用控制台 ·169
5.4.1　基於Web的訪問 169
5.4.2　基於命令列介面的訪問 ·170

第6章　授信Docker鏡像倉庫 172
6.1　授信Docker鏡像倉庫概述 ·172
6.1.1　授信Docker鏡像倉庫的概念 172
6.1.2　授信Docker鏡像倉庫的主要功能 172
6.1.3　授信Docker鏡像倉庫的主要特點 173
6.2　授信Docker鏡像倉庫架構 ·174
6.2.1　DTR高可用性 174
6.2.2　DTR內部元件 175
6.2.3　DTR使用的網路 175
6.2.4　DTR使用的卷 175
6.2.5　鏡像存儲 ·176
6.2.6　如何與DTR進行交互 ·176
6.3　授信Docker鏡像倉庫管理 ·177
6.3.1　安裝 ·177
6.3.2　配置 ·183
6.3.3 管理用戶 ·205
6.3.4　監視和排除故障 ·209
6.3.5 DTR備份和災難恢復 213
6.4　訪問授信Docker鏡像倉庫 ·216
6.4.1　配置Docker引擎 216
6.4.2 配置公證用戶端 ·218
6.4.3 使用緩存 ·220

第7章　規模化使用Docker ·221
7.1　Docker Swarm ·221
7.1.1　使用Swarm 一個集群 221
7.1.2　把Swarm 管理器部署到集群 222
7.2　Centurion工具 224
7.2.1　部署一個簡單的應用 ·225
7.2.2　把應用部署到過渡環境 ·227
7.3　Amazon EC2 Container Service 228
7.3.1　設置IAM 角色228
7.3.2 設置AWS CLI 229
7.3.3 容器實例 ·230
7.3.4 任務 ·233
7.3.5 測試任務 ·236
7.3.6 停止任務 ·237

第8 章　Docker 安全 ·239
8.1　安全概述 ·239
8.1.1　命名空間 ·239
8.1.2 cgroups · 242
8.1.3 Linux 能力機制·243
8.2　安全性原則 ·244
8.2.1 cgroup 244
8.2.2　ulimit 246
8.2.3 容器＋全虛擬化 ·246
8.2.4 鏡像簽名 ·247
8.2.5 日誌審計 ·247
8.2.6 監控 ·247
8.2.7 檔案系統級防護 ·248
8.2.8 capability 248
8.2.9 SELinux 249
8.3　Docker 的安全遺留問題 253
8.3.1　User Namespace 253
8.3.2　非root 運行Docker Daemon 253
8.3.3　Docker 熱升級·254
8.3.4　磁片容量的限制 ·254
8.3.5　網路I/O ·254

第3 部分　Docker 數據中心高級技術

第9 章　企業級數據建模256
9.1　企業級數據模型概覽 ·256
9.1.1　數據模型分類 ·256
9.1.2　企業數據模型的優勢和作用 ·260
9.2 創建伺服器 ·261
9.2.1　在 Azure 門戶中創建伺服器 261
9.2.2 部署SQL Server數據工具 ·262
9.3 伺服器和用戶 ·264
9.3.1 管理伺服器 ·264
9.3.2 管理用戶 ·266
9.4　集成本地數據閘道及連接到伺服器 ·270
9.4.1 集成本地數據閘道 ·270
9.4.2 連接到伺服器 ·274
9.4.3 使用Excel進行連接和流覽數據 275
9.4.4 使用Power BI連接和流覽數據 277
9.5　備份、恢復和建立高可用性 ·277
9.5.1　備份 ·277
9.5.2 還原 ·279
9.5.3 高可用性 ·280
9.6　創建示例 ·280
9.6.1 示例1：創建一個新的表格模型專案 280
9.6.2 示例2：獲取數據 283
9.6.3 示例3：標記為日期表 287
9.6.4　示例4：建立關係 287
9.6.5　示例5：創建計算列 290
9.6.6　示例6：創建度量 293
9.6.7　示例7：創建關鍵績效指標 295
9.6.8　示例8：創建透視圖 297
9.6.9　示例9：創建層次結構 298
9.6.10　示例10：創建分區 299
9.6.11　示例11：創建角色 ·302
9.6.12　示例12：在Excel中分析 ·304

第10章　數據庫性能調優307
10.1　調優問題概述 ·307
10.1.1　調優的目標 ·307
10.1.2　識別性能問題 ·308
10.1.3　剖析性能問題 ·309
10.1.4　優化解決問題 ·311
10.2　關聯式數據庫的查詢優化 ·313
10.2.1　查詢處理的架構 ·313
10.2.2　基於關聯代數等價性的啟發式優化 ·315
10.2.3　查詢執行計畫的開銷估計 ·318
10.2.4　選擇一個計畫 ·325
10.3　應用程式的優化 ·328
10.3.1　SQL 語句的優化·328
10.3.2　索引 ·339
10.3.3　反向規範化 ·341
10.3.4　實現惰性讀取 ·342
10.3.5　引入緩存 ·343
10.3.6　充分利用工具 ·343
10.4　物理資源的管理 ·345
10.5　NoSQL 數據庫的調優346
10.5.1　NoSQL 數據庫調優的原則 346
10.5.2　文檔型數據庫MongoDB 的常用優化方案 347
10.5.3　列族數據庫Cassandra 的優化·351

第11 章　數據庫重構 353
11.1 　數據庫重構的重要性 ·353
11.2 　數據庫重構的概念 ·355
11.2.1 　數據庫重構的定義355
11.2.2 　數據庫重構的內涵是保持語義357
11.2.3 　數據庫重構的類別358
11.2.4 　重構工具358
11.3 　數據庫重構的過程 ·358
11.3.1 　確認數據庫重構是必要的359
11.3.2 　選擇最合適的數據庫重構360
11.3.3 　確定數據清洗的需求360
11.3.4 　使原數據庫模式過時362
11.3.5 　編寫單元測試進行前測試、中測試和後測試363
11.3.6 　實現預期的數據庫模式變化365
11.3.7 　遷移源數據366
11.3.8 　更新數據庫管理腳本367
11.3.9 　重構外部訪問程式367
11.3.10　進行回歸測試 367
11.3.11　為重構編寫文檔 368
11.3.12　對工作進行版本控制 368
11.4　數據庫重構的策略 ·368
11.4.1　通過小變更降低變更風險 368
11.4.2　唯一地標識每一次重構 369
11.4.3　轉換期觸發器優於視圖或批量同步 369
11.4.4　確定一個足夠長的轉換期 370
11.4.5　封裝對數據庫的訪問 370
11.4.6　使建立數據庫環境簡單 371
11.4.7　將數據庫資產置於變更控制之下 371
11.5　數據庫重構的方法 ·371
11.5.1　結構重構 371
11.5.2　參照完整性重構 387
11.5.3　數據品質重構 399

第12章　可程式設計數據中心412
12.1 概述 ·412
12.2　可程式設計數據中心體系架構 ·413
12.3　數據分配管理 ·414
12.3.1　數據分配管理原理 ·414
12.3.2　數據分配管理案例 ·416
12.4　異構數據節點分配管理 ·419
12.4.1　異構數據節點分配管理方法 ·419
12.4.2 異構數據節點服務能力計算方法 ·422
12.5　數據放置策略 ·423
12.5.1　穀歌的數據放置策略 ·423
12.5.2　Hadoop的數據放置策略 423
12.5.3　其他常用的數據放置策略 ·424
12.5.4　語意數據放置策略 ·424

附錄　備份與容災
附錄A　數據備份與容災 430
A.1　數據備份的概念及層次分析 430
A.1.1　數據備份的概念·430
A.1.2　數據備份的層次及備份手段·431
A.1.3 系統級備份·432
A.2　系統備份的方案選擇 433
A.2.1　備份軟體·434
A.2.2　備份硬體·437
A.2.3　備份策略·442
A.3　當今主流存儲技術 445
A.3.1　直接連接存儲·446
A.3.2　網路附加存儲·450
A.3.3　存儲區域網路（SAN）·452
A.4　數據備份系統的結構 455
A.4.1　數據容災與數據備份的關係·455
A.4.2　容災的概念·456
A.4.3　容災工程·456
A.4.4　數據容災等級·460
A.5　容災關鍵技術 462
A.5.1　遠端鏡像技術·462
A.5.2　快照技術·464
A.5.3　互連技術·466
A.6　數據容災典型案例 467
A.6.1 EMC 容災技術與業務連續性方案·467
A.6.2　HDS 三數據中心容災解決方案468
A.6.3　StoreAge 容災方案 470
參考文獻472
 

馬獻章

是資訊化建設領軍人物，有38年的資訊化建設工程實踐經歷，編寫數部資料庫等相關教材和工程實踐輔導書以及多部內部技術講義書；策劃並組織軍民深度融合學校，開發建設多項大型作戰指揮資訊系統，擁有多項國家發明專利，多項科研成果獲軍隊科技進步獎，並在全軍推廣應用，產生了巨大的軍事經濟效益。被聘為解放軍理工大學碩士研究生導師、博士生工程實踐導師。現任電子科技大學空天科學技術戰略專家委員會主任。