深度學習與神經網絡

神經網絡與深度學習是人工智能研究的重要領域，是機器學習的重要組成部分。人工智能是研究理解和模擬人類智能、智能行為及其規律的科學。本書緊緊圍繞神經網絡和深度學習的基礎知識體系進行系統的梳理，力求從基礎理論、經典模型和前沿應用展開論述，便於讀者能夠較為全面地掌握深度學習的相關知識。全書共 16 章。第 1 章是緒論，簡要介紹人工智能、機器學習、神經網絡與深度學習的基本概念及相互關系，並對神經網絡的發展歷程和產生機理進行闡述；第2章介紹神經網絡的基本神經元模型、網絡結構、學習方法、學習規則、正則化方法、模型評估方法等基礎知識；第3～8章介紹多層感知器神經網絡、自組織競爭神經網絡、徑向基函數神經網絡、卷積神經網絡、循環神經網絡、注意力機制與反饋網絡；第9章介紹深度學習網絡優化的相關內容；第 10～13章介紹受限玻爾茲曼機和深度置信網絡、棧式自編碼器、生成對抗網絡和圖神經網絡；第 14 章介紹深度強化學習；第15章介紹深度學習的可解釋性；第16章介紹多模態預訓練模型。深度學習是源於對含有多個隱藏層的神經網絡結構進行的研究，以便建立和模擬人腦的學習過程。本書整理了人工神經網絡從簡單到覆雜的模型，歸納和總結了神經網絡的理論、方法和應用實踐。本書可以作為高等院校人工智能及相關專業或非計算機專業的參考用書，也可以作為人工智能領域的科技工作者或科研機構工作人員的參考用書。

第1章 緒論 1
1.1 與深度學習有關的幾個概念 1
1.1.1 人工智慧 2
1.1.2 機器學習 4
1.1.3 表示學習 10
1.1.4 機器學習、神經網路及深度學習的關係 12
1.1.5 深度學習常用的框架 14
1.2 神經網路與深度學習的發展歷程 15
1.2.1 神經網路的誕生 16
1.2.2 神經網路的復興 16
1.2.3 深度學習的崛起 17
1.3 神經網路的產生機理 18
1.3.1 大腦研究的基本情況 19
1.3.2 腦組織的基本組成 20
1.3.3 腦組織的分層結構 22
1.3.4 大腦的基本工作原理 22
1.4 生物神經網路基礎 25
1.4.1 神經元的基本結構 25
1.4.2 神經元的基本分類 28
1.4.3 神經元的資訊傳遞機理 28
1.4.4 生物神經網路的構成 31
1.5 本書的知識框架體系 32
1.6 本章小結 33

第2章 人工神經網路計算 35
2.1 神經網路概述 35
2.2 人工神經元模型 36
2.2.1 基本神經元模型 36
2.2.2 常用啟動函數 38
2.2.3 Softmax輸出分類 42
2.3 神經網路結構 43
2.3.1 單層前饋網路 44
2.3.2 多層前饋網路 45
2.3.3 回饋網路 46
2.3.4 圖網路 46
2.4 神經網路的學習方法 47
2.4.1 無監督學習的Hebb演算法 48
2.4.2 監督學習的Delta規則 49
2.5 神經網路的損失函數 50
2.5.1 均方差損失函數 50
2.5.2 平均 誤差損失函數 50
2.5.3 交叉熵損失函數 51
2.6 神經網路的學習規則 55
2.6.1 極大似然估計 55
2.6.2 經驗風險 小化準則 57
2.6.3 過擬合與欠擬合 57
2.7 梯度下降法 58
2.7.1 一維梯度下降 59
2.7.2 多維梯度下降 60
2.7.3 隨機梯度下降 61
2.8 網路正則化方法 62
2.8.1 L1和L2正則化 62
2.8.2 提前停止 63
2.8.3 權重衰減 64
2.8.4 丟棄法 64
2.8.5 資料增強 69
2.8.6 標籤平滑 69
2.9 模型評估方法 70
2.9.1 混淆矩陣 70
2.9.2 準確率、 率、召回率 71
2.9.3 ROCAUCPR曲線 72
2.10 本章小結 74

第3章 多層感知器神經網路 75
3.1 感知器及其發展過程 75
3.2 感知器學習演算法 76
3.2.1 離散單輸出感知器學習演算法 76
3.2.2 離散多輸出感知器學習演算法 77
3.2.3 多層感知器線性處理問題 79
3.3 多層感知器的演算法實現 82
3.4 反向傳播演算法 84
3.4.1 反向傳播多層感知器模型 84
3.4.2 反向傳播演算法的原理 85
3.4.3 反向傳播演算法的執行步驟 89
3.4.4 梯度消失和梯度 問題 91
3.4.5 反向傳播網路的資料擬合問題 92
3.5 本章小結 97

第4章 自組織競爭神經網路 98
4.1 競爭學習的概念與原理 98
4.1.1 競爭學習規則 98
4.1.2 競爭學習原理 100
4.2 SOFM網路 101
4.2.1 SOFM網路結構 101
4.2.2 運行原理 102
4.2.3 學習過程 103
4.2.4 兩階段學習 104
4.3 ART網路 105
4.3.1 ART網路結構 105
4.3.2 網路運行與訓練 107
4.3.3 網路運行的參數說明 108
4.4 自組織競爭神經網路的演算法實現 108
4.5 本章小結 109

第5章 徑向基函數神經網路 111
5.1 徑向基函數介紹及結構 111
5.2 函數逼近與內插 112
5.2.1 插值問題的定義 112
5.2.2 徑向基函數的一般形式 112
5.2.3 徑向基函數的性質 113
5.3 正則化理論 114
5.4 徑向基函數神經網路學習 117
5.4.1 隨機選取徑向基函數中心 117
5.4.2 自組織學習選取徑向基函數中心 118
5.4.3 有監督學習選取徑向基函數中心 119
5.5 本章小結 120

第6章 卷積神經網路 122
6.1 卷積神經網路的概念及特點 122
6.1.1 卷積的定義 122
6.1.2 卷積的變形 123
6.1.3 卷積與互相關操作 124
6.1.4 卷積神經網路的特點 125
6.2 卷積神經網路的基本結構 126
6.2.1 卷積層 127
6.2.2 彙聚層 131
6.2.3 全連接層 133
6.2.4 輸出層 134
6.3 卷積神經網路參數學習 134
6.4 卷積神經網路常用模型 137
6.4.1 LeNet模型 137
6.4.2 AlexNet模型 139
6.4.3 VGGNet模型 140
6.4.4 GoogLeNet模型 141
6.4.5 ResNet模型 146
6.4.6 DenseNet模型 148
6.5 卷積神經網路的演算法實現 149
6.6 本章小結 152

第7章 迴圈神經網路 153
7.1 迴圈神經網路的概念 153
7.2 迴圈神經網路模型 154
7.3 迴圈神經網路參數學習 156
7.3.1 BPTT演算法 156
7.3.2 RTRL演算法 157
7.4 網路梯度問題改進 157
7.5 長短期記憶 158
7.6 門控迴圈單元網路 161
7.7 深度迴圈神經網路 162
7.7.1 堆疊迴圈神經網路 162
7.7.2 雙向迴圈神經網路 163
7.8 迴圈神經網路演算法實現――手寫體數位識別問題 164
7.9 本章小結 168

第8章 注意力機制與回饋網路 169
8.1 注意力機制網路 170
8.1.1 注意力機制網路的概念及分類 170
8.1.2 自注意力模型 174
8.2 離散型Hopfield神經網路 176
8.2.1 網路的結構與工作方式 176
8.2.2 網路的能量狀態分析 178
8.2.3 網路吸引子的性質 181
8.3 連續型Hopfield神經網路 183
8.3.1 網路的拓撲結構 183
8.3.2 網路的能量與穩定性分析 185
8.4 Hopfield神經網路應用實例 186
8.5 Hopfield神經網路求解TSP 190
8.6 本章小結 192

第9章 深度學習網路優化 193
9.1 參數初始化 193
9.1.1 固定方差參數初始化 194
9.1.2 方差縮放參數初始化 195
9.1.3 正交初始化 197
9.2 數據預處理 198
9.3 逐層歸一化 201
9.3.1 批量歸一化 201
9.3.2 層歸一化 203
9.3.3 權重歸一化 204
9.3.4 局部回應歸一化 205
9.4 超參數優化 205
9.4.1 網格搜索 206
9.4.2 隨機搜索 206
9.4.3 貝葉斯優化 207
9.4.4 動態資源配置 208
9.4.5 神經架構搜索 208
9.5 優化演算法 209
9.5.1 空間變數的非凸優化 209
9.5.2 Momentum 210
9.5.3 NAG 211
9.5.4 AdaGrad 211
9.5.5 AdaDelta 212
9.5.6 RMSProp 212
9.5.7 Adam 212
9.6 本章小結 213

第10章 受限玻爾茲曼機和深度置信網路 214
10.1 概率圖模型 214
10.2 受限玻爾茲曼機的基本結構 215
10.3 受限玻爾茲曼機的能量模型和似然函數 216
10.4 受限玻爾茲曼機的學習任務 217
10.4.1 參數的梯度計算 217
10.4.2 吉布斯採樣 219
10.4.3 對比散度演算法 220
10.5 深度置信網路 222
10.5.1 網路模型 222
10.5.2 網路訓練演算法 223
10.6 深度置信網路的應用 225
10.6.1 音訊特徵提取 225
10.6.2 多模態數據建模 226
10.7 本章小結 228

第11章 棧式自編碼器 230
11.1 自編碼器 230
11.2 稀疏自編碼器 233
11.3 棧式自編碼器的原理 234
11.4 降噪自編碼器 234
11.5 自編碼器的圖像還原 236
11.6 自編碼器的機器翻譯應用 238
11.7 本章小結 239

第12章 生成對抗網路 240
12.1 深度生成模型 240
12.1.1 概率密度估計 241
12.1.2 生成樣本 241
12.2 生成對抗網路的基本結構 242
12.3 原始-對偶次梯度方法訓練 246
12.4 生成對抗網路的應用 249
12.4.1 人臉圖像的生成 249
12.4.2 生成對抗網路的演算法實現 251
12.5 本章小結 252

第13章 圖神經網路 254
13.1 圖網路概述 254
13.1.1 圖的定義 254
13.1.2 圖資料網路的性質和特點 256
13.1.3 圖神經網路的發展 257
13.2 圖卷積神經網路 259
13.2.1 譜域圖卷積神經網路 259
13.2.2 切比雪夫網路 262
13.2.3 圖卷積神經網路 263
13.3 圖迴圈神經網路 265
13.3.1 不動點理論 266
13.3.2 歸納式圖表示學習 267
13.3.3 圖注意力網路 269
13.4 消息傳遞神經網路 271
13.5 圖神經網路模型的應用 273
13.5.1 圖分類 273
13.5.2 知識圖譜與注意力模型 274
13.5.3 基於圖神經網路的 系統 275
13.5.4 電腦視覺 276
13.6 本章小結 277

第14章 深度強化學習 278
14.1 強化學習概述 278
14.2 瑪律可夫決策過程 280
14.2.1 價值函數 281
14.2.2 動作價值函數 281
14.2.3 價值函數 282
14.2.4 策略反覆運算 282
14.2.5 價值反覆運算 283
14.3 Q-Learning演算法 285
14.4 Deep Q-Network強化學習 288
14.5 蒙特卡羅演算法 291
14.6 AlphaGo強化學習 292
14.6.1 AlphaGo發展概述 292
14.6.2 AlphaGo Fan演算法的原理 295
14.6.3 AlphaGo Zero演算法的原理 300
14.7 強化學習的應用 304
14.7.1 遊戲領域 304
14.7.2 機器人控制領域 305
14.7.3 自然語言處理領域 305
14.7.4 其他領域 306
14.8 本章小結 306

第15章 深度學習的可解釋性 308
15.1 可解釋性的定義 309
15.2 可解釋性方法 309
15.2.1 模型透明度 309
15.2.2 模型功能 311
15.3 視覺化方法分類 312
15.3.1 特徵視覺化 312
15.3.2 關係視覺化 312
15.3.3 過程視覺化 313
15.4 神經網路特徵視覺化 313
15.5 本章小結 317

第16章 多模態預訓練模型 319
16.1 預訓練 320
16.2 多模態資料的特徵表示 321
16.2.1 文本特徵 321
16.2.2 圖像特徵 329
16.3 Transformer模型 330
16.3.1 模型的基本結構 330
16.3.2 編碼模型 331
16.3.3 解碼模型 335
16.3.4 基於Transformer模型的擴展 337
16.4 預訓練模型學習 342
16.4.1 預訓練模型的學習方式 342
16.4.2 預訓練遷移學習 346
16.5 大模型的訓練與預測 348
16.5.1 大模型的共用模式和組合方式 348
16.5.2 多模態預訓練方法 349
16.5.3 預訓練模型實例 356
16.6 本章小結 359
附錄A 主要符號 361
參考文獻 363

趙眸光，博士，以工業互聯網、大資料、機器學習、電腦視覺和自然語言處理等內容為研究方向，服務于智慧城市產業化應用。大資料產業聯合會會員，人工智慧協會會員。大資料與人工智慧智庫專家。曾擔任過首席架構專家、首席資料專家、企業資訊資源規劃專家。在清華從事過資訊規劃諮詢，產學研合作、技術成果轉化工作。從事過智慧城市的頂層設計規劃工作。參與過多項專案評審工作。圍繞數字金融、智慧醫療、智慧交通、智慧製造、智慧旅遊、智慧教育、智慧園區等參與過多個項目和課題研究。出版過智慧城市、大資料、企業資訊規劃、資訊安全等領域多本著作。從事過大型企業互聯網、企業ERP、MES、雲計算、大資料等資訊化專案。