神經機器翻譯

本書介紹自然語言處理的一個應用—機器翻譯及相關知識。全書分為三部分。第一部分包含第1～4章，簡要介紹機器翻譯中的問題、機器翻譯技術的實際應用及歷史，討論一直困擾機器翻譯領域的譯文品質評價問題。第二部分包含第5～9章，解釋神經網路、基本機器翻譯模型的設計，以及訓練和解碼的核心演算法。第三部分包含第10～17章，既涵蓋構建新模型的關鍵內容，也涉及開放性的挑戰問題和一些未解決問題的前沿研究。本書主要面向學習自然語言處理或機器翻譯相關課程的本科生和研究生，以及相關研究領域的研究人員。

作者寄語
譯者序
前言
閱讀指南

第一部分　緒論
第1章　翻譯問題 2
1.1　翻譯的目標 2
1.2　歧義性 4
1.2.1　詞彙翻譯問題 4
1.2.2　短語翻譯問題 4
1.2.3　句法翻譯問題 5
1.2.4　語義翻譯問題 5
1.3　語言學觀點 6
1.4　資料視角 9
1.4.1　忠實度 9
1.4.2　流暢度 10
1.4.3　齊普夫定律 11
1.5　實際問題 13
1.5.1　公開的數據 13
1.5.2　評測活動 13
1.5.3　工具集 14
第2章　機器翻譯的應用 15
2.1　資訊獲取 15
2.2　人工輔助翻譯 16
2.3　交流 18
2.4　自然語言處理的管道式系統 21
2.5　多模態機器翻譯 21
第3章　歷史回顧 23
3.1　神經網路 24
3.1.1　生物學啟發 24
3.1.2　感知器學習 25
3.1.3　多層網路 25
3.1.4　深度學習 26
3.2　機器翻譯 27
3.2.1　密碼破譯 27
3.2.2　ALPAC報告與後續影響 27
3.2.3　首個商用系統 28
3.2.4　基於中間語言的翻譯系統 28
3.2.5　資料驅動的方法 28
3.2.6　開源的研發環境 29
3.2.7　深入用戶 30
3.2.8　神經翻譯的興起 30
第4章　評價方法 32
4.1　基於任務的評價 32
4.1.1　真實世界的任務 33
4.1.2　內容理解 33
4.1.3　譯員翻譯效率 34
4.2　人工評價 35
4.2.1　忠實度和流暢度 35
4.2.2　排序 37
4.2.3　連續分數 38
4.2.4　眾包評價 40
4.2.5　人工譯文編輯率 41
4.3　自動評價指標 41
4.3.1　BLEU 42
4.3.2　同義詞和形態變體 43
4.3.3　TER 44
4.3.4　characTER 45
4.3.5　自舉重採樣 45
4.4　指標研究 47
4.4.1　關於評價的爭論 47
4.4.2　對評價指標的評價 48
4.4.3　自動評價指標缺點的相關證據 49
4.4.4　新的評價指標 50

第二部分　基礎
第5章　神經網路 54
5.1　線性模型 54
5.2　多層網路 55
5.3　非線性模型 56
5.4　推斷 57
5.5　反向傳播訓練 59
5.5.1　輸出節點權重 60
5.5.2　隱藏層節點權重 61
5.5.3　公式總結 63
5.5.4　權重更新示例 63
5.5.5　驗證集 64
5.6　探索並行處理 65
5.6.1　向量和矩陣運算 65
5.6.2　小批量訓練 65
5.7　動手實踐：使用Python實現神經網路 66
5.7.1　Numpy庫中的資料結構和函數 66
5.7.2　前向計算 67
5.7.3　反向計算 67
5.7.4　鏈式法則的重複使用 68
5.8　擴展閱讀 71
第6章　計算圖 72
6.1　用計算圖描述神經網路 72
6.2　梯度計算 73
6.3　動手實踐：深度學習框架 77
6.3.1　利用PyTorch實現前向和反向計算 77
6.3.2　迴圈訓練 79
6.3.3　批訓練 80
6.3.4　優化器 81
第7章　神經語言模型 83
7.1　前饋神經語言模型 83
7.1.1　表徵單詞 84
7.1.2　神經網路架構 85
7.1.3　訓練 86
7.2　詞嵌入 86
7.3　雜訊對比估計 88
7.4　迴圈神經語言模型 89
7.5　長短時記憶模型 91
7.6　門控迴圈單元 93
7.7　深度模型 94
7.8　動手實踐：PyTorch中的神經語言模型 96
7.8.1　迴圈神經網路 96
7.8.2　文本處理 97
7.8.3　迴圈訓練 98
7.8.4　建議 99
7.9　擴展閱讀 100
第8章　神經翻譯模型 101
8.1　編碼器–解碼器方法 101
8.2　添加對齊模型 102
8.2.1　編碼器 102
8.2.2　解碼器 103
8.2.3　注意力機制 104
8.3　訓練 106
8.4　深度模型 108
8.4.1　解碼器 108
8.4.2　編碼器 109
8.5　動手實踐：利用PyTorch實現神經翻譯模型 110
8.5.1　編碼器 111
8.5.2　解碼器 111
8.5.3　訓練 113
8.6　擴展閱讀 115
第9章　解碼 116
9.1　柱搜索 116
9.2　集成解碼 119
9.2.1　生成候選系統 120
9.2.2　融合系統輸出 120
9.3　重排序 121
9.3.1　利用從右到左解碼的重排序 121
9.3.2　利用反向模型的重排序 122
9.3.3　增加n-best列表的多樣性 122
9.3.4　評分組件的權重學習 123
9.4　優化解碼 126
9.5　約束解碼 127
9.5.1　XML模式 127
9.5.2　網格搜索 127
9.5.3　強制注意力 128
9.5.4　評價 129
9.6　動手實踐：Python中的解碼 129
9.6.1　假設 129
9.6.2　柱空間 129
9.6.3　搜索 131
9.6.4　輸出最佳譯文 132
9.7　擴展閱讀 133

第三部分　提高
第10章　機器學習技巧 138
10.1　機器學習中的問題 138
10.2　確保隨機性 140
10.2.1　打亂訓練數據 141
10.2.2　權重初始化 141
10.2.3　標籤平滑 142
10.3　調整學習率 142
10.3.1　動量項 142
10.3.2　調整每個參數的學習率 143
10.3.3　批梯度更新 144
10.4　避免局部最優 145
10.4.1　正則化 145
10.4.2　課程學習 145
10.4.3　drop-out法 146
10.5　處理梯度消失和梯度爆炸問題 147
10.5.1　梯度裁剪 147
10.5.2　層歸一化 147
10.5.3　捷徑連接和高速連接 148
10.5.4　LSTM和梯度消失 149
10.6　句子級優化 150
10.6.1　最小風險訓練 150
10.6.2　生成對抗訓練 151
10.7　擴展閱讀 152
第11章　替代架構 155
11.1　神經網路元件 155
11.1.1　前饋層 155
11.1.2　因數分解 156
11.1.3　基本的數學運算 157
11.1.4　迴圈神經網路 158
11.1.5　卷積神經網路 159
11.2　注意力模型 160
11.2.1　注意力計算 160
11.2.2　多頭注意力 161
11.2.3　細細微性注意力 162
11.2.4　自注意力 162
11.3　卷積機器翻譯模型 163
11.4　融合注意力機制的卷積神經網路 165
11.4.1　編碼器 165
11.4.2　解碼器 166
11.4.3　注意力 167
11.5　自注意力：Transformer 167
11.5.1　自注意力層 167
11.5.2　解碼器中的注意力 168
11.6　擴展閱讀 171
第12章　重溫單詞 173
12.1　詞嵌入 173
12.1.1　潛在語義分析 174
12.1.2　連續詞袋模型 175
12.1.3　Skip Gram 176
12.1.4　GloVe 176
12.1.5　ELMo 177
12.1.6　BERT 178
12.2　多語言詞嵌入 178
12.2.1　特定語言詞嵌入之間的映射 179
12.2.2　語言無關的詞嵌入 180
12.2.3　僅使用單語資料 180
12.3　大詞彙表 182
12.3.1　低頻詞的特殊處理 182
12.3.2　位元組對編碼演算法 183
12.3.3　句子片段化演算法 184
12.3.4　期望最大化訓練 185
12.3.5　子詞正則化 185
12.4　基於字元的模型 186
12.4.1　字元序列模型 186
12.4.2　基於字元的單詞表示模型 186
12.4.3　集成基於字元的模型 188
12.5　擴展閱讀 189
第13章　領域自我調整 195
13.1　領域 195
13.1.1　語料庫之間的差異 196
13.1.2　多領域場景 197
13.1.3　領域內與領域外 198
13.1.4　自我調整效應 198
13.1.5　合理的警告 199
13.2　混合模型 199
13.2.1　數據插值 199
13.2.2　模型插值 200
13.2.3　領域感知訓練 201
13.2.4　主題模型 202
13.3　欠採樣 204
13.3.1　Moore-Lewis：語言模型交叉熵 204
13.3.2　基於覆蓋範圍的方法 205
13.3.3　樣本加權 206
13.4　微調 206
13.4.1　約束更新 207
13.4.2　文檔級自我調整 208
13.4.3　句子級自我調整 209
13.4.4　課程訓練 210
13.5　擴展閱讀 210
第14章　超越平行語料庫 214
14.1　使用單語資料 215
14.1.1　增加語言模型 215
14.1.2　回譯 216
14.1.3　反覆運算回譯 217
14.1.4　往返訓練 217
14.2　多種語言對 218
14.2.1　多種輸入語言 219
14.2.2　多種輸出語言 219
14.2.3　共用模組 220
14.3　訓練相關任務 221
14.3.1　預訓練詞嵌入 221
14.3.2　預訓練編碼器和解碼器 221
14.3.3　多工訓練 222
14.4　擴展閱讀 222
第15章　語言學結構 228
15.1　有指導的對齊訓練 228
15.2　建模覆蓋度 230
15.2.1　在推斷過程中約束覆蓋度 230
15.2.2　覆蓋度模型 231
15.2.3　繁衍率 232
15.2.4　特徵工程與機器學習 232
15.3　添加語言學標注 233
15.3.1　輸入句子的語言學標注 233
15.3.2　輸出句子的語言學標注 234
15.3.3　語言學結構化的模型 235
15.4　擴展閱讀 236
第16章　當前挑戰 238
16.1　領域不匹配 238
16.2　訓練資料規模 240
16.3　稀有詞 241
16.4　雜訊資料 243
16.4.1　真實世界中的雜訊 243
16.4.2　合成雜訊 245
16.4.3　雜訊對翻譯品質的影響 246
16.5　柱搜索 248
16.6　詞對齊 250
16.7　擴展閱讀 251
第17章　分析與視覺化 253
17.1　錯誤分析 253
17.1.1　神經機器翻譯的典型錯誤 253
17.1.2　語言學錯誤類型 255
17.1.3　真實世界中的研究案例 256
17.1.4　目標測試集 257
17.1.5　合成語言 259
17.2　視覺化 259
17.2.1　詞嵌入 260
17.2.2　編碼器狀態：詞義 261
17.2.3　注意力機制 262
17.2.4　多頭注意力機制 263
17.2.5　語言模型預測中的記憶 264
17.2.6　解碼器狀態 266
17.2.7　柱搜索 266
17.3　探測向量表示 267
17.3.1　分類器方法 267
17.3.2　實驗發現 268
17.4　分析神經元 269
17.4.1　認知理論 269
17.4.2　個體神經元 269
17.4.3　揭示神經元 271
17.5　追溯模型決策過程 271
17.5.1　層級間相關性傳遞 271
17.5.2　相關性傳遞在機器翻譯中的應用 273
17.5.3　顯著性計算 274
17.6　擴展閱讀 275
參考文獻 279

菲力浦·科恩(Philipp Koehn)是約翰斯·霍普金斯大學電腦科學系的教授。他是機器翻譯領域的領軍人物，於2010年出版了教材Statistical Machine Translation（劍橋大學出版社出版，中文版為《統計機器翻譯》）。他曾獲國際機器翻譯協會頒發的榮譽獎，是2013年歐洲專利局歐洲發明家獎的最終三名入圍者之一。他還活躍在科技產業界，是Omniscien Technology公司的首席科學家、Meta公司的顧問。
 


譯者簡介


 
張家俊，中國科學院自動化研究所研究員、博士生導師，主要研究方向為機器翻譯和自然語言處理，曾獲得國家優秀青年科學基金資助，入選中國科協首屆青年人才托舉工程和北京智源青年科學家。發表CCF-A/B類論文70餘篇，出版學術專著2部，6次獲得最佳/優秀論文獎，3次被評為IJCAI、ACL和NAACL的傑出SPC和審稿人。曾獲得中國中文資訊學會錢偉長中文資訊處理科學技術獎一等獎、青年創新獎一等獎和北京市科學技術獎一等獎等，曾擔任中國中文資訊學會機器翻譯專委會副主任、青年工作委員會副主任，多次擔任ACL/EMNLP/COLING的(資深)領域主席。

趙陽，博士，中國科學院自動化研究所助理研究員。2019年畢業於中國科學院自動化研究所模式識別國家重點實驗室，獲博士學位。畢業後留所工作，研究方向為自然語言處理與機器翻譯，在國內外相關頂級學術會議（AAAI、IJCAI、EMNLP、COLING等）和著名期刊（TASLP、AI、TALLIP等）上發表20餘篇論文。擔任國際權威期刊（TASLP等）的審稿人，多次擔任國際頂級學術會議（ACL、COLING、IJCAI、AAAI）的程式委員會委員，擔任COLING-20的出版主席。作為負責人和參與人員，主持和參與國家自然基金、科技部重點研發計畫和中國科學院先導計畫等多項國家專案。

宗成慶，中國科學院自動化研究所研究員、博士生導師，中國科學院大學崗位教授（A類），中國人工智慧學會會士和中國電腦學會會士。主要從事自然語言處理、機器翻譯和語言認知計算等研究，主持國家專案10余項，發表論文200餘篇，出版《統計自然語言處理》等專著三部和譯著一部，是國際計算語言學委員會（ICCL）委員、亞洲自然語言處理學會（AFNLP）主席和中國中文資訊學會副理事長。曾任國際一流學術會議ACL 2015程式委員會主席和ACL 2021大會主席。曾榮獲國家科技進步獎二等獎和北京市科學技術獎一等獎等，曾獲北京市優秀教師、中國科學院優秀導師和寶鋼優秀教師獎等若干榮譽，享受國務院特殊津貼。