深度學習：數學基礎、算法模型與實戰

前言

第1章 深度學習方法概述/
1.1閱讀本書前需要的準備工作/
1.2機器學習方法的定義/
1.3為什麼要使用機器學習方法/
1.4深度學習方法的產生與發展/
1.5深度學習應用領域與發展前景/
1.6如何開始學習/
1.7本書的章節編排/
1.8總結/

第2章 深度學習的數學基礎/
2.1深度學習中的線性代數/
2.1.1機器學習中的數據與矩陣/
2.1.2矩陣的運算/
2.1.3圖像的矩陣格式/
2.1.4文本的矩陣格式/
2.2優化算法/
2.2.1求一元函數的極小值問題/
2.2.2多元函數求導與梯度下降法/
2.2.3使用PyTorch進行的求導和優化/
2.2.4方程求解與欠定問題和正則化/
2.2.5再論雙十一預測問題與超定問題/
2.3概率與統計/
2.3.1概率、條件概率與貝葉斯理論/
2.3.2極大似然估計與最大後驗估計/
2.4總結/

第3章 深度學習基礎模型和實現：全連接網路/
3.1邏輯回歸算法/
3.1.1數據和模型/
3.1.2交叉熵損失函數/
3.1.3小批量梯度下降法/
3.1.4正則化影響/
3.2訓練集、驗證集、測試集及精度評價標準/
3.2.1分類問題精度評價標準/
3.2.2回歸問題精度評價標準/
3.2.3過擬合和欠擬合問題/
3.3多層神經網路模型/
3.3.1線性可分與線性不可分/
3.3.2多層神經網路自動構建特徵解決分類問題 /
3.3.3神經網路的深度、廣度及高層API使用/
3.4使用NumPy構建神經網路庫（複現PyTorch）/
3.4.1陣求導/
3.4.2交叉熵損失函數的導數/
3.4.3自動微分（求導）庫的構建/
3.4.4完善深度學習庫的高層API /
3.5回歸、分類等監督學習模型/
3.6深度學習中的優化算法/
3.6.1帶動量的梯度下降法/
3.6.2均方誤差傳遞反覆運算算法/
3.6.3自我調整矩估計反覆運算算法/
3.7總結/

第4章 深度學習基礎模型和實現：卷積神經網路/
4.1信號、圖像分析基礎/
4.2從卷積到卷積神經網路/
4.3卷積神經網路模型的構建/
4.3.1從神經網路角度看待卷積神經網路/
4.3.2卷積神經網路其他輔助結構/
4.4卷積神經網路反向傳播算法/
4.5卷積神經網路的感受野問題/
4.6總結/

第5章 深度學習基礎模型和實現：迴圈神經網路和Transformer/
5.1文本向量化/
5.1.1語句、詞分割算法之BPE編碼/
5.1.2語句、詞分割算法之一元模型/
5.2迴圈神經網路和文本建模/
5.2.1文本分類任務和基礎迴圈神經網路結構/
5.2.2長短時記憶單元（LSTM）/
5.2.3門控迴圈結構/
5.3PyTorch的數據API使用/
5.4迴圈神經網路反向傳播/
5.5文本處理中的前後文問題/
5.5.1雙向迴圈神經網路結構/
5.5.2使用卷積神經網路進行文本分詞/
5.6Transformer模型/
5.6.1向量的加權相加、自注意力機制和多頭注意力機制/
5.6.2位置編碼/
5.6.3注意力遮罩與單向模型/
5.7總結/

第6章 深度學習基礎模型和實現：深層設計和優化結構/
6.1構建一個更深的網路/
6.1.1深度神經網路的結構設計改進/
6.1.2深度神經網路設計中的梯度消失問題/
6.1.3殘差網路設計/
6.2標準化層/
6.2.1批標準化/
6.2.2層標準化層/
6.3過擬合問題/
6.3.1數據增強/深度學習：數學基礎、算法模型與實戰目錄
6.3.2正則化方法/
6.3.3DropOut層/
6.4參數初始化和遷移學習/
6.4.1參數的隨機初始化問題/
6.4.2遷移學習問題/
6.5總結/

第7章 信號和圖形學應用/
7.1信號和圖像的濾波與“超級夜景”/
7.1.1卷積神經網路的上採樣方式：轉置卷積、插值和圖元洗牌 /
7.1.2一維自編碼器模型：波形的濾波與重建/
7.1.3二維數據濾波：圖像濾波和超級夜景功能/
7.2物體檢測和時序數據異常檢測/
7.2.1物體檢測模型設計：基於滑動窗的物體檢測模型/
7.2.2物體檢測模型設計：多物體檢測的單一模型/
7.2.3Faster RCNN：用於物體檢測的二階模型/
7.2.4用於一維時序數據、波形異常、信號檢測/
7.3圖像特徵提取與分類問題/
7.4對抗生成網路模型：圖像生成與高頻約束問題/
7.4.1圖像生成問題：GAN和ACGAN/
7.4.2基於對抗生成模型的超解析度採樣任務：SRGAN/
7.4.3對抗生成網路圖像轉換實踐：Pix2Pix/
7.4.4非成對的圖形轉換：CycleGAN/
7.5變分自編碼器/
7.5.1無監督機器學習與隱變數分析/
7.5.2變分自編碼器模型/
7.6總結/

第8章 自然語言和時序數據處理類應用/
8.1單向模型與文本和時序數據預測問題/
8.1.1中文文本生成/
8.1.2時序數據（股票等）預測問題/
8.1.3單向卷積模型：因果卷積/
8.2基於迴圈網路的編碼解碼模型/
8.2.1基礎編碼解碼結構/
8.2.2基於迴圈神經網路的編碼解碼結構中的文本補0問題/
8.2.3序列到序列模型中的注意力機制與自然語言翻譯/
8.3基於Transformer模型的自然語言處理模型/
8.3.1基於Transformer的序列到序列模型/
8.3.2BERT模型原理/
8.3.3GPT模型原理 /
8.4總結/

第9章 圖像、信號、文本等跨模態轉換/
9.1語音辨識問題/
9.1.1基於短時傅裡葉變換和CTC模型的語音辨識/
9.1.2卷積神經網路直接處理原始波形進行語音辨識/
9.1.3使用編碼解碼（Seq2Seq）模型完成語音辨識 /
9.2圖像文本混合任務 /
9.2.1光學字元辨識任務/
9.2.2圖像標題生成/
9.2.3文本到圖像自動合成/
9.2.4自然科學應用：深度學習層析成像技術/
9.3強化學習/
9.4圖神經網路/
9.4.1圖及其相關概念/
9.4.2空間域圖卷積神經網路 /
9.4.3譜域圖卷積神經網路/
9.5總結/

第10章 深度學習模型壓縮與加速/
10.1對模型進行優化與壓縮/
10.1.1卷積基礎結構優化/
10.1.2卷積層的優化/
10.1.3批標準化層融合/
10.1.4知識蒸餾/
10.2深度學習模型壓縮和量化/
10.2.1深度學習模型浮點計算精度/
10.2.2深度學習模型量化/
10.2.3量化模型計算實現/
10.3模型部署/
10.4總結

于子葉

中國地震局地球物理研究所副研究員，中國科學院大學博士。主攻自然科學方向的機器學習算法研究，主持機器學習方向的國家青年基金、重點研發專題等國家級專案，發表多篇相關論文和著作。從事機器學習教育工作多年，在深度學習教育方面具有豐富的經驗。