對偶學習

譯者序
前言
致謝

第1章緒論1
1.1引言1
1.2人工智慧任務中的結構對偶性3
1.3對偶學習的劃分4
1.3.1依照使用資料劃分4
1.3.2依照對偶信號構造準則劃分4
1.4全書總覽5
參考文獻6

第2章機器學習基礎10
2.1機器學習範式10
2.1.1有監督學習11
2.1.2無監督學習12
2.1.3強化學習13
2.1.4其他學習範式14
2.2機器學習演算法核心組成部分14
2.3泛化和正則化16
2.4搭建機器學習模型17
2.4.1資料收集和特徵工程18
2.4.2演算法選擇、模型訓練、超參數調優18
參考文獻19

第3章深度學習基礎24
3.1神經網路24
3.2卷積神經網路27
3.3序列建模29
3.3.1遞迴神經網路及其變種30
3.3.2編碼器解碼器架構31
3.3.3Transformer網路34
3.4深度模型訓練36
3.4.1隨機梯度下降法37
3.4.2正則化38
3.5為什麼選擇深度神經網路39
參考文獻41

第4章對偶學習在機器翻譯中的應用及拓展48
4.1機器翻譯簡介48
4.1.1神經機器翻譯49
4.1.2回譯技術50
4.2對偶重構準則51
4.3對偶半監督學習52
4.4對偶無監督學習56
4.4.1基本思想56
4.4.2系統架構和訓練演算法57
4.5多智能體對偶學習60
4.5.1模型架構61
4.5.2拓展和比較62
4.5.3多智能體對偶機器翻譯63
4.6拓展65
4.6.1語義解析65
4.6.2文本風格遷移66
4.6.3對話67
參考文獻68

第5章對偶學習在圖像翻譯中的應用及拓展72
5.1簡介72
5.2無監督圖像翻譯的基本思想74
5.3圖像翻譯75
5.3.1DualGAN75
5.3.2CycleGAN77
5.3.3DiscoGAN80
5.4細細微性圖像翻譯80
5.4.1細細微性圖像翻譯中的問題81
5.4.2條件DualGAN82
5.4.3討論84
5.5具有多路徑一致性的多域圖像翻譯84
5.6拓展86
5.6.1人臉相關任務86
5.6.2視覺語言任務87
5.6.3其他圖像相關任務88
參考文獻88

第6章對偶學習在語音處理中的應用及拓展93
6.1神經語音合成和識別93
6.2語音鏈的對偶學習94
6.3低資源語音處理的對偶學習97
6.3.1使用雙向序列建模的去噪自編碼97
6.3.2使用雙向序列建模的對偶重構99
6.3.3模型訓練100
6.4極低資源語音處理的對偶學習101
6.4.1預訓練和微調103
6.4.2對偶重構103
6.4.3知識蒸餾104
6.4.4LRSpeech的性能105
6.5非母語語音辨識的對偶學習106
6.5.1非母語語音辨識的難點106
6.5.2基於對偶重構準則的方法106
6.6拓展108
參考文獻109

第7章對偶有監督學習114
7.1聯合概率準則114
7.2對偶有監督學習演算法115
7.3應用117
7.3.1神經機器翻譯117
7.3.2圖像分類和生成118
7.3.3情感分析119
7.3.4問題回答和問題生成120
7.3.5代碼摘要和代碼生成121
7.3.6自然語言理解和生成125
7.4理論分析126
參考文獻127

第8章對偶推斷131
8.1基本架構131
8.2應用133
8.3理論分析134
參考文獻136

第9章基於邊緣概率的對偶半監督學習138
9.1邊緣概率的高效估計138
9.2以邊緣概率為約束140
9.3無標資料的似然最大化141
9.4討論143
參考文獻144

第10章對偶重構的理論解讀148
10.1概述148
10.2對偶重構準則在無監督學習中的解讀149
10.2.1對偶無監督映射的建模149
10.2.2存在的問題和簡單性假設151
10.2.3最小複雜度152
10.3對偶重構準則在半監督學習中的解讀154
10.3.1演算法和符號說明155
10.3.2雙語翻譯156
10.3.3多域對偶學習160
參考文獻161

第11章對偶學習和其他學習範式的聯繫164
11.1對偶半監督學習和協同訓練164
11.2對偶學習和多工學習166
11.3對偶學習、GAN和自編碼器166
11.4對偶有監督學習和貝葉斯陰陽學習167
11.5對偶重構及相關概念168
參考文獻169

第12章總結和展望174
12.1總結174
12.2未來研究方向175
12.2.1更多的學習環境和應用175
12.2.2提升訓練效率177
12.2.3理論研究178
參考文獻178