動手學機器學習

第一部分 機器學習基礎
第 1 章 初探機器學習.........................2
1.1 人工智慧的“兩隻手和四條腿”............ 2
1.2 機器學習是什麼................................. 2
1.3 時代造就機器學習的盛行..................... 4
1.4 泛化能力：機器學習奏效的本質............ 5
1.5 歸納偏置：機器學習模型的“天賦” ...... 6
1.6 機器學習的限制................................. 7
1.7 小結................................................ 7
第 2 章 機器學習的數學基礎...............8
2.1 向量................................................ 8
2.2 矩陣..............................................10
2.2.1 矩陣的基本概念........................... 10
2.2.2 矩陣運算......................................11
2.2.3 矩陣與線性方程組....................... 12
2.2.4 矩陣範數..................................... 13
2.3 梯度..............................................14
2.4 凸函數...........................................17
2.5 小結..............................................19
第 3 章 k近鄰算法..........................20
3.1 KNN算法的原理............................. 20
3.2 用KNN算法完成分類任務..................21
3.3 使用scikit-learn實現KNN算法........ 24
3.4 用KNN算法完成回歸任務——色彩風格遷移........ 25
3.4.1 RGB空間與LAB空間..................27
3.4.2 算法設計.....................................27
3.5 小結............................................. 30
第 4 章 線性回歸............................33
4.1 線性回歸的映射形式和學習目標.......... 33
4.2 線性回歸的解析方法........................ 35
4.3 動手實現線性回歸的解析方法............. 35
4.4 使用sklearn中的線性回歸模型.......... 37
4.5 梯度下降算法................................. 38
4.6 學習率對反覆運算的影響........................ 42
4.7 小結............................................. 44
第 5 章 機器學習的基本思想.............46
5.1 欠擬合與過擬合............................... 46
5.2 正則化約束.................................... 49
5.3 輸入特徵與相似度........................... 52
5.4 參數與超參數................................. 55
5.5 資料集劃分與交叉驗證..................... 56
5.6 小結............................................. 57
5.7 擴展閱讀：貫穿恒等式的證明............. 58
5.8 參考文獻....................................... 58

第二部分 參數化模型
第 6 章 邏輯斯諦回歸......................60
6.1 邏輯斯諦函數下的線性模型.................61
6.2 最大似然估計................................. 62
6.3 分類問題的評價指標........................ 64
6.4 動手實現邏輯斯諦回歸..................... 69
6.5 使用sklearn中的邏輯斯諦回歸模型.... 73
6.6 交叉熵與最大似然估計..................... 74
6.7 小結............................................. 76
6.8 擴展閱讀：廣義線性模型.................. 78
6.9 參考文獻....................................... 79
第 7 章 雙線性模型.........................80
7.1 矩陣分解.........................................81
7.2 動手實現矩陣分解模型...................... 83
7.3 因數分解機.................................... 86
7.4 動手實現因數分解機模型.................. 89
7.5 小結............................................. 92
7.6 擴展閱讀：概率矩陣分解................... 93
7.7 參考文獻....................................... 95
第 8 章 神經網路與多層感知機..........96
8.1 人工神經網路.................................. 96
8.2 感知機.......................................... 97
8.3 隱含層與多層感知機........................ 99
8.4 反向傳播......................................102
8.5 動手實現多層感知機.......................104
8.6 用PyTorch庫實現多層感知機.......... 110
8.7 小結............................................ 113
8.8 參考文獻...................................... 114
第 9 章 卷積神經網路.....................115
9.1 卷積............................................. 115
9.2 神經網路中的卷積.......................... 117
9.3 用卷積神經網路完成圖像分類任務...... 119
9.4 用預訓練的卷積神經網路完成色彩風格遷移........126
9.4.1. VGG網路.................................126
9.4.2. 內容表示與風格表示................. 127
9.5 小結............................................134
9.6 擴展閱讀：資料增強.......................134
9.7 參考文獻......................................136
第 10 章 迴圈神經網路................... 137
10.1 迴圈神經網路的基本原理................137
10.2 門控迴圈單元...............................139
10.3 動手實現GRU............................ 141
10.4 小結...........................................146
10.5 參考文獻.....................................147

第三部分 非參數化模型
第 11 章 支持向量機...................... 150
11.1 支援向量機的數學描述....................150
11.2 序列最小優化...............................153
11.3 動手實現SMO求解SVM.............156
11.4 核函數........................................158
11.5 sklearn中的SVM工具................162
11.6 小結...........................................163
11.7 擴展閱讀：SVM對偶問題的推導.....164
第 12 章 決策樹............................ 167
12.1 決策樹的構造...............................168
12.2 ID3算法與C4.5算法................... 171
12.3 CART算法.................................172
12.4 動手實現C4.5算法的決策樹..........175
12.4.1. 資料集處理..............................175
12.4.2. C4.5算法的實現.....................178
12.5 sklearn中的決策樹.....................182
12.6 小結...........................................183
12.7 參考文獻.....................................184
第 13 章 集成學習與梯度提升決策樹... 185
13.1 自舉聚合與隨機森林......................186
13.2 集成學習器.................................. 191
13.3 提升算法.....................................194
13.3.1. 適應提升.................................. 195
13.3.2. 梯度提升.................................200
13.4 小結.......................................... 205
13.5 參考文獻.................................... 206

第四部分 無監督模型
第 14 章 k均值聚類......................208
14.1 k均值聚類算法的原理................... 208
14.2 動手實現k均值算法..................... 209
14.3 k-means++算法.......................212
14.4 小結...........................................214
14.5 參考文獻.....................................215
第 15 章主成分分析...................... 216
15.1 主成分與方差...............................216
15.2 利用特徵分解進行PCA.................218
15.3 動手實現PCA算法......................221
15.4 用sklearn實現PCA算法........... 222
15.5 小結.......................................... 223
第 16 章 概率圖模型...................... 225
16.1 貝葉斯網路................................. 226
16.2 最大後驗估計.............................. 228
16.3 用樸素貝葉斯模型完成文本分類.......231
16.4 瑪律可夫網路.............................. 234
16.5 用瑪律可夫網路完成圖像去噪......... 236
16.6 小結.......................................... 240
16.7 參考文獻.....................................241
第 17 章 EM算法.........................242
17.1 高斯混合模型的EM算法............... 243
17.2 動手求解GMM來擬合數據分佈..... 245
17.3 一般情況下的EM算法..................251
17.4 EM算法的收斂性........................ 253
17.5 小結.......................................... 254
第 18 章 自編碼器......................... 255
18.1 自編碼器的結構........................... 256
18.2 動手實現自編碼器........................ 257
18.3 小結.......................................... 262
18.4 參考文獻.................................... 262

總結與展望....................................264
總結................................................... 264
展望................................................... 264
中英文術語對照表........................... 267

張偉楠，上海交通大學副教授，博士生導師，ACM班機器學習、強化學習課程授課教師。主要研究強化學習、資料採擷、知識圖譜、深度學習以及這些技術在推薦系統、遊戲智慧、機器人控制等場景中的應用，累計發表國際期刊和會議論文180餘篇。

趙寒燁，上海交通大學 APEX資料與知識管理實驗室博士生，師從張偉楠副教授，研究方向為強化學習、機器學習。以第一作者身份在人工智慧國際會議 NeurIPS上發表論文，並參與多本機器學習相關教材的編寫。

俞勇，上海交通大學ACM班創辦人，上海交通大學特聘教授。2018年創辦伯禹人工智慧學院，在上海交通大學ACM班人工智慧專業課程體系的基礎上，對人工智慧課程體系進行創新，致力於培養人工智慧演算法工程師和研究員。