深度生成模型

第 1 章 為什麼要用深度生成模型1
1.1 AI 不只是做決策 1
1.2 在哪裡使用（深度）生成模型 3
1.3 如何定義（深度）生成模型 4
1.3.1 自回歸模型 5
1.3.2 流模型 5
1.3.3 隱變數模型 6
1.3.4 能量模型 7
1.3.5 概論 7
1.4 本書的目的和內容 8
1.5 參考文獻 9

第 2 章 自回歸模型 13
2.1簡介 13
2.2 由神經網路參數化的自回歸模型 14
2.2.1 有限記憶 14
2.2.2 基於迴圈神經網路的長距記憶 15
2.2.3 基於卷積神經網路的長距記憶 16
2.3 深度生成自回歸模型實踐 19
2.4 還未結束 22
2.5 參考文獻 24

第 3 章 流模型27
3.1 連續隨機變數的流模型 27
3.1.1 簡介 27
3.1.2 深度生成網路中的變數替換 30
3.1.3 構建 RealNVP 的組件 32
3.1.4 流模型實踐 33
3.1.5 代碼 34
3.1.6 還未結束 38
3.1.7 ResNet 流模型和 DenseNet 流模型39
3.2 離散隨機變數的流模型 41
3.2.1 簡介 41
3.2.2 R 中還是 Z 中的流模型 44
3.2.3 整形離散流模型 45
3.2.4 代碼 49
3.2.5 接下來的工作 53
3.3 參考文獻 54

第 4 章 隱變數模型 57
4.1 簡介 57
4.2 概率主成分分析 58
4.3 變分自動編碼器：非線性隱變數模型的變分推理60
4.3.1 模型和目標 60
4.3.2 ELBO 的不同解讀 61
4.3.3 VAE 的組件 62
4.3.4 VAE 實踐 65
4.3.5 代碼 66
4.3.6 VAE 的常見問題 71
4.3.7 還有更多 72
4.4 改進變分自動編碼器 75
4.4.1先驗 75
4.4.2 變分後驗 92
4.5 分層隱變數模型 99
4.5.1簡介 99
4.5.2 分層 VAE 103
4.5.3 基於擴散的深度生成模型 112
4.6 參考文獻 121

第 5 章 混合建模128
5.1簡介 128
5.1.1 方法一：從最簡單的情況開始128
5.1.2 方法二：共用參數化 130
5.2 混合建模 130
5.3 代碼實現 132
5.4代碼 134
5.5後續 138
5.6 參考文獻 139

第 6 章 基於能量的模型 141
6.1簡介 141
6.2 模型構建 143
6.3訓練 145
6.4代碼 147
6.5 受限玻爾茲曼機150
6.6結語 153
6.7 參考文獻 154

第 7 章 生成對抗網路 157
7.1簡介 157
7.2 使用生成對抗網路做隱含建模159
7.3 代碼實現 162
7.4 不同種類的生成對抗網路167
7.5 參考文獻 169

第 8 章 用於神經壓縮的深度生成模型 171
8.1簡介 171
8.2 通用壓縮方案 172
8.3 簡短介紹：JPEG 174
8.4 神經壓縮：組件175
8.5後續 185
8.6 參考文獻 185

附錄 A 一些有用的代數與運算知識 187
A.1 範數與內積 187
A.2 矩陣運算188
附錄 B 一些有用的概率論和統計學知識190
B.1 常用概率分佈190
B.2 統計學 192
索引 194

Jakub M. Tomczak：阿姆斯特丹自由大學計算智慧小組的人工智慧助理教授、弗羅茨瓦夫理工大學機器學習博士，曾在阿姆斯特丹高通人工智慧研究公司擔任深度學習研究員（員工工程師），以及瑪麗斯克洛多夫斯卡-居裡教授的個人研究員。研究興趣包括概率建模、深度學習、近似貝葉斯建模和深度生成建模（特別關注變分自動編碼器和基於流的模型）。
 


譯者簡介


 
王冠，北京大學物理及電腦學士，香港科技大學物理研究型碩士，谷歌機器學習開發者專家，先後在多個學術和工業研究實驗室從事機器學習、電腦視覺和自然語言處理的研發，並在保險行業應用人工智慧方面有多年的經驗，《Rasa實戰：構建開源對話機器人》作者，發表了數篇相關領域的學術論文，擁有多項工業專利。他還是一位活躍的技術博主和開源社區貢獻者，在GitHub上的開源項目獲得了超過12,000個星標。