TensorFlow深度學習應用實踐

本書總的指導思想是在掌握深度學習的基本知識和特性的基礎上，培養使用TensorFlow進行實際編程以解決圖像處理相關問題的能力。全書力求深入淺出，通過通俗易懂的語言和詳細的程序分析，介紹TensorFlow的基本用法、高級模型設計和對應的程序編寫。

本書共22章，內容包括Python類庫的安裝和使用、TensorFlow基本數據結構和使用、TensorFlow數據集的創建與讀取、人工神經網絡、反饋神經網絡、全卷積神經網絡的理論基礎、深度學習模型的創建、模型的特性、算法、ResNet、Slim、GAN等。本書強調理論聯系實際，重點介紹TensorFlow編程解決圖像識別的應用，提供了大量數據集，並以代碼的形式實現了深度學習模型，以供讀者參考。

本書既可作為學習人工神經網絡、深度學習、TensorFlow程序設計以及圖像處理等相關內容的程序設計人員培訓和自學用書，也可作為高等院校和培訓機構相關專業的教材。

王曉華，高校資深計算機專業講師，給研究生和本科生講授面向對象程序設計、數據結構、Hadoop程序設計等相關課程。主要研究方向為雲計算、數據挖掘。曾主持和參與多項國家和省級科研課題，獨立完成一項科研成果獲省級成果認定，發表過多篇論文，申請有一項專利。著有《Spark MLlib機器學習實踐》等圖書。

第1章 星星之火 1
1.1 計算機視覺與深度學習 1
1.1.1 人類視覺神經的啟迪 2
1.1.2 計算機視覺的難點與人工神經網絡 3
1.1.3 應用深度學習解決計算機視覺問題 4
1.2 計算機視覺學習的基礎與研究方向 5
1.2.1 學習計算機視覺結構圖 5
1.2.2 計算機視覺的學習方式和未來趨勢 6
1.3 本章小結 7

第2章 Python的安裝與使用 8
2.1 Python基本安裝和用法 8
2.1.1 Anaconda的下載與安裝 9
2.1.2 Python編譯器PyCharm的安裝 12
2.1.3 使用Python計算softmax函數 16
2.2 Python常用類庫中的threading 17
2.2.1 threading庫的使用 18
2.2.2 threading模塊中最重要的Thread類 18
2.2.3 threading中的Lock類 19
2.2.4 threading中的join類 20
2.3 本章小結 21

第3章 深度學習的理論基礎——機器學習 22
3.1 機器學習基本分類 22
3.1.1 基於學科的分類 22
3.1.2 基於學習模式的分類 23
3.1.3 基於應用領域的分類 23
3.2 機器學習基本算法 24
3.2.1 機器學習的算法流程 24
3.2.2 基本算法的分類 25
3.3 算法的理論基礎 26
3.3.1 小學生的故事——求圓的面積 27
3.3.2 機器學習基礎理論——函數逼近 27
3.4 回歸算法 29
3.4.1 函數逼近經典算法——線性回歸 29
3.4.2 線性回歸的姐妹——邏輯回歸 31
3.5 機器學習的其他算法——決策樹 32
3.5.1 水晶球的秘密 32
3.5.2 決策樹的算法基礎——信息熵 33
3.5.3 決策樹的算法基礎——ID3算法 34
3.6 本章小結 35

第4章 Python類庫的使用——數據處理及可視化展示 37
4.1 從小例子起步——NumPy的初步使用 37
4.1.1 數據的矩陣化 37
4.1.2 數據分析 39
4.1.3 基於統計分析的數據處理 40
4.2 圖形化數據處理——Matplotlib包使用 41
4.2.1 差異的可視化 41
4.2.2 坐標圖的展示 42
4.2.3 玩個大的 44
4.3 深度學習理論方法——相似度計算 46
4.3.1 基於歐幾里得距離的相似度計算 46
4.3.2 基於余弦角度的相似度計算 47
4.3.3 歐幾里得相似度與余弦相似度的比較 48
4.4 數據的統計學可視化展示 49
4.4.1 數據的四分位 49
4.4.2 數據的四分位示例 50
4.4.3 數據的標准化 53
4.4.4 數據的平行化處理 55
4.4.5 熱點圖——屬性相關性檢測 57
4.5 Python實戰——某地降水的關系處理 58
4.5.1 不同年份的相同月份統計 58
4.5.2 不同月份之間的增減程度比較 59
4.5.3 每月降水不相關嗎 60
4.6 本章小結 61

第5章 OpenCV的基礎使用 62
5.1 OpenCV基本的圖片讀取 62
5.1.1 基本的圖片存儲格式 62
5.1.2 圖像的讀取與存儲 64
5.1.3 圖像的轉換 65
5.1.4 使用NumPy模塊對圖像進行編輯 66
5.2 OpenCV的卷積核處理 68
5.2.1 計算機視覺的三種不同色彩空間 68
5.2.2 卷積核與圖像特征提取 68
5.2.3 卷積核進階 70
5.3 本章小結 72

第6章 OpenCV與TensorFlow的融合 73
6.1 圖片的自由縮放以及邊緣裁剪 73
6.1.1 圖像的擴縮裁挖 73
6.1.2 圖像色調的調整 74
6.1.3 圖像的旋轉、平移和翻轉 76
6.2 使用OpenCV擴大圖像數據庫 77
6.2.1 圖像的隨機裁剪 77
6.2.2 圖像的隨機旋轉變換 78
6.2.3 圖像色彩的隨機變換 79
6.2.4 對鼠標的監控 80
6.3 本章小結 81

第7章 Let』s play TensorFlow 82
7.1 TensorFlow游樂場 82
7.1.1 I want to play a game 82
7.1.2 TensorFlow游樂場背后的故事 86
7.1.3 如何訓練神經網絡 88
7.2 初識Hello TensorFlow 89
7.2.1 TensorFlow名稱的解釋 89
7.2.2 TensorFlow基本概念 89
7.2.3 TensorFlow基本架構 92
7.3 本章小結 93

第8章 Hello TensorFlow，從0到1 94
8.1 TensorFlow的安裝 94
8.2 TensorFlow常量、變量和數據類型 96
8.3 TensorFlow矩陣計算 100
8.4 Hello TensorFlow 102
8.5 本章小結 107

第9章 TensorFlow重要算法基礎 108
9.1 BP神經網絡簡介 108
9.2 BP神經網絡中的兩個基礎算法 110
9.2.1 最小二乘法（LS算法）詳解 111
9.2.2 道士下山的故事——梯度下降算法 113
9.3 TensorFlow實戰——房屋價格的計算 116
9.3.1 數據收集 117
9.3.2 模型的建立與計算 117
9.3.3 TensorFlow程序設計 119
9.4 反饋神經網絡反向傳播算法 121
9.4.1 深度學習基礎 121
9.4.2 鏈式求導法則 122
9.4.3 反饋神經網絡原理與公式推導 124
9.4.4 反饋神經網絡原理的激活函數 129
9.4.5 反饋神經網絡原理的Python實現 130
9.5 本章小結 136

第10章 TensorFlow數據的生成與讀取詳解 137
10.1 TensorFlow的隊列 137
10.1.1 隊列的創建 137
10.1.2 線程同步與停止 141
10.1.3 隊列中數據的讀取 142
10.2 CSV文件的創建與讀取 143
10.2.1 CSV文件的創建 143
10.2.2 CSV文件的讀取 144
10.3 TensorFlow文件的創建與讀取 146
10.3.1 TFRecords文件的創建 146
10.3.2 TFRecords文件的讀取 149
10.3.3 圖片文件的創建與讀取 150
10.4 本章小結 155

第11章 回歸分析——從TensorFlow 陷阱與細節開始 156
11.1 TensorFlow線性回歸 156
11.1.1 線性回歸詳解與編程實戰 157
11.1.2 線性回歸編程中的陷阱與細節設計 159
11.1.3 TensorFlow多元線性回歸 163
11.2 多元線性回歸實戰編程 166
11.2.1 多元線性回歸實戰的編程——房屋價格計算 166
11.2.2 多元線性回歸實戰的推廣——數據的矩陣化 168
11.3 邏輯回歸詳解 174
11.3.1 邏輯回歸不是回歸算法 174
11.3.2 常用的邏輯回歸特征變化與結果轉換 175
11.3.3 邏輯回歸的損失函數 176
11.3.4 邏輯回歸編程實戰——胃癌的轉移判斷 178
11.4 本章小結 181

第12章 TensorFlow編程實戰——MNIST手寫體識別 183
12.1 MNIST數據集 183
12.1.1 MNIST是什麼 183
12.1.2 MNIST數據集的特征和標簽 185
12.2 MNIST數據集實戰編程 187
12.2.1 softmax激活函數 187
12.2.2 MNIST編程實戰 189
12.2.3 為了更高的准確率 192
12.2.4 增加更多的深度 193
12.3 初識卷積神經網絡 195
12.3.1 卷積神經網絡 196
12.3.2 卷積神經網絡的程序編寫 196
12.3.3 多層卷積神經網絡的程序編寫 199
12.4 本章小結 201

第13章 卷積神經網絡原理 202
13.1 卷積運算基本概念 202
13.1.1 卷積運算 203
13.1.2 TensorFlow中卷積函數實現詳解 204
13.1.3 使用卷積函數對圖像感興趣區域進行標注 208
13.1.4 池化運算 210
13.1.5 使用池化運算加強卷積特征提取 212
13.2 卷積神經網絡的結構詳解 213
13.2.1 卷積神經網絡原理 213
13.2.2 卷積神經網絡的應用實例——LeNet5網絡結構 216
13.2.3 卷積神經網絡的訓練 218
13.3 TensorFlow實現LeNet實例 219
13.3.1 LeNet模型分解 219
13.3.2 使用ReLU激活函數代替sigmoid 223
13.3.3 程序的重構——模塊化設計 227
13.3.4 卷積核和隱藏層參數的修改 231
13.4 本章小結 237

第14章 卷積神經網絡公式推導與應用 238
14.1 反饋神經網絡算法 238
14.1.1 經典反饋神經網絡正向與反向傳播公式推導 238
14.1.2 卷積神經網絡正向與反向傳播公式推導 241
14.2 使用卷積神經網絡分辨CIFAR-10數據集 249
14.2.1 CIFAR-10數據集下載與介紹 249
14.2.2 CIFAR-10模型的構建與數據處理 251
14.2.3 CIFAR-10模型的細節描述與參數重構 260
14.3 本章小結 261

第15章 貓狗大戰——實戰AlexNet 262
15.1 AlexNet簡介 263
15.1.1 AlexNet模型解讀 263
15.1.2 AlexNet程序的實現 266
15.2 實戰貓狗大戰——AlexNet模型 270
15.2.1 數據的收集與處理 271
15.2.2 模型的訓練與存儲 276
15.2.3 使用訓練過的模型預測圖片 281
15.2.4 使用Batch_Normalization正則化處理數據集 288
15.3 本章小結 297

第16章 我們都愛Finetuning——復用VGG16進行貓狗大戰 298
16.1 TensorFlow模型保存與恢復詳解 298
16.1.1 TensorFlow保存和恢復函數的使用 298
16.1.2 多次模型的保存和恢復 299
16.1.3 實戰TensorFlow模型的存儲與恢復 300
16.2 更為細化的保存和恢復方法 304
16.2.1 存儲文件的解讀 304
16.2.2 更細節地對模型進行恢復和處理 305
16.3 VGGNet實現 309
16.3.1 VGGNet模型解讀及與AlexNet比較 309
16.3.2 VGGNet模型的TensorFlow實現 311
16.4 使用已訓練好的模型和權重復現VGGNet 315
16.4.1 npz文件的讀取 316
16.4.2 復用的VGGNet模型定義 317
16.4.3 保存復用的VGGNet模型為TensorFlow格式 323
16.5 貓狗大戰V2—— Finetuning使用VGGNet進行圖像判斷 324
16.5.1 Finetuning基本理解 324
16.5.2 貓狗大戰——Finetuning使用VGGNet 326
16.6 本章小結 336

第17章 開始找工作吧——深度學習常用面試問題答疑 337
17.1 深度學習面試常用問題答疑 337
17.1.1 如何降低過擬合 338
17.1.2 全連接層詳解 342
17.1.3 激活函數起作用的原因 342
17.1.4 卷積后的圖像大小 343
17.1.5 池化層的作用 343
17.1.6 為什麼在最后分類時使用softmax而不是傳統的SVM 343
17.2 卷積神經網絡調優面試問答匯總 343
17.2.1 數據集的注意事項 343
17.2.2 卷積模型訓練的注意事項 344
17.3 NIN模型介紹 344
17.3.1 NIN模型簡介 344
17.3.2 貓狗大戰——NIN的代碼實現 345
17.4 「deeper is better」——GoogLeNet 模型介紹 350
17.4.1 GoogLeNet模型的介紹 350
17.4.2 GoogLeNet模型單元的TensorFlow實現 352
17.4.3 GoogLeNet模型的一些注意事項 354
17.5 本章小結 355

第18章 暫時的冠軍——ResNet簡介及TensorFlow實現 356
18.1 ResNet模型簡介 356
18.1.1 ResNet模型定義 357
18.1.2 定義工具的TensorFlow實現 359
18.1.3 ResNet模型的TensorFlow實現 360
18.2 新興的卷積神經模型簡介 362
18.2.1 SqueezeNet模型簡介 362
18.2.2 Xception模型簡介 365
18.3 本章小結 366

第19章 TensorFlow高級API—— Slim使用入門 368
19.1 Slim詳解 368
19.2 Slim使用方法介紹 369
19.2.1 Slim中變量使用方法介紹 369
19.2.2 Slim中層的使用方法介紹 373
19.2.3 Slim中參數空間使用方法介紹 375
19.3 實戰——使用Slim定義VGG16 377
19.3.1 VGG16結構圖和TensorFlow定義 377
19.3.2 使用Slim創建VGG16並訓練 379
19.4 實戰——使用Slim設計多層感知器（MLP） 382
19.4.1 MLP的Slim實現 383
19.4.2 MLP模型的評估 392
19.5 Slim數據讀取方式 394
19.5.1 Slim數據讀取格式 394
19.5.2 生成TFRecords格式數據 395
19.5.3 使用Slim讀取TFRecords格式數據 398
19.6 本章小結 399

第20章 Slim使用進階 400
20.1 使用Slim創建卷積神經網絡（CNN） 400
20.1.1 數據集獲取 400
20.1.2 創建卷積神經網絡 403
20.1.3 訓練Slim創建的卷積網絡 405
20.2 使用Slim預訓練模型進行Finetuning 407
20.2.1 Inception-ResNet-v2模型簡介 407
20.2.2 使用Inception-ResNet-v2預訓練模型參數 408
20.2.3 修改Inception-ResNet-v2預訓練模型輸出層級 415
20.3 本章小結 419

第21章 全卷積神經網絡圖像分割入門 420
21.1 全卷積神經網絡進行圖像分割的理論基礎 420
21.1.1 全連接層和全卷積層 421
21.1.2 反卷積（upsampling）計算 423
21.2 全卷積神經網絡進行圖像分割的分步流程與編程基礎 425
21.2.1 使用VGG16進行圖像識別 425
21.2.2 上采樣（upsampling）詳解 428
21.2.3 一種常用的卷積核——雙線插值 430
21.2.4 實戰——使用VGG16全卷積網絡進行圖像分割 434
21.3 本章小結 438

第22章 不服就是GAN——對抗生成網絡 439
22.1 對抗生成網絡詳解 439
22.1.1 GAN的基本原理介紹 440
22.1.2 簡單GAN的TensorFlow實現 443
22.2 從0到1——實戰：使用GAN生成手寫體數字 449
22.2.1 分步驟簡介 450
22.2.2 GAN網絡的訓練 455
22.3 本章小結 458