速通深度學習數學基礎

第1章　線性代數的基本概念 1
1.1　向量和深度學習 1
1.2　向量距離計算 7
1.3　向量的基本性質 11
1.3.1　向量的基本運算 11
1.3.2　線性相關和線性無關 14
1.3.3　向量的投影和正交 15
1.4　矩陣 18
1.4.1　矩陣的基本概念 18
1.4.2　矩陣和神經網路 26
1.4.3　矩陣的秩 28
1.5　一些特殊的矩陣 30
1.5.1　矩陣的逆和廣義逆 30
1.5.2　正交矩陣 32

第2章　線性代數在深度學習中的應用 34
2.1　特徵值和特徵向量 34
2.1.1　特徵值和特徵向量的定義 34
2.1.2　一般矩陣的特徵分解 37
2.1.3　對稱矩陣的特徵分解 38
2.2　奇異值分解 41
2.3　正定矩陣 45
2.4　矩陣的範數和神經網路 46
2.5　主成分分析 49
2.6　推薦系統中的矩陣分解 55

第3章　微積分的基本概念 59
3.1　導數的定義和幾何意義 59
3.2　複雜函數求導 61
3.3　導數的存在性 64
3.4　多元函數求導 65
3.5　二階導數和高階導數 65
3.6　函數的極大值和極小值 69
3.6.1　一元函數的極大值和極小值 69
3.6.2　多元函數的凹凸性和海森矩陣 72
3.6.3　凸優化證明 73

第4章　微積分在深度學習中的應用 77
4.1　梯度下降法 77
4.1.1　梯度下降法在深度學習中的應用 77
4.1.2　泰勒公式和梯度下降法 80
4.1.3　牛頓反覆運算法 81
4.2　梯度下降法的缺點 84
4.3　矩陣求導術 88
4.3.1　標量對向量和矩陣求導 88
4.3.2　向量對向量求導 89
4.3.3　鏈式法則 91
4.4　常見啟動函數及其導數 92
4.5　常見損失函數及其導數 99
4.5.1　分類和回歸 99
4.5.2　哈夫曼樹和負採樣 103
4.5.3　度量學習 106
4.6　積分和求和 108
4.6.1　積分和不定積分 108
4.6.2　多重積分 111
4.6.3　分類模型的效果指標AUC 113

第5章　概率的基本概念 117
5.1　概率入門 117
5.2　聯合概率和條件概率 119
5.3　貝葉斯定理 122
5.4　連續概率分佈 124
5.5　均值和方差 126
5.6　相關性 130
5.7　正態分佈 133
5.7.1　正態分佈的基本概念和性質 133
5.7.2　正態分佈和邏輯回歸 137

第6章　概率在深度學習中的應用 139
6.1　概率分佈之間的距離 139
6.2　最大似然估計 140
6.3　Logit和Softmax 143
6.3.1　二分類的Logit 143
6.3.2　多分類的Softmax 144
6.4　語言模型 147
6.5　概率悖論 150
6.5.1　辛普森悖論 150
6.5.2　基本比率謬誤 151
6.5.3　羅傑斯現象 153
6.5.4　伯克森悖論 153
6.6　統計學基礎 155
6.6.1　卡方分佈和學生分佈 155
6.6.2　假設檢驗 158
6.6.3　AB測試 168
6.7　各類散列變換 172
6.7.1　特徵Hash 172
6.7.2　MD5 174
6.7.3　特徵空間的投影 175
6.7.4　simhash 177
6.7.5　minhash 178
6.8　分類器性能的極限 181
6.8.1　最大AUC 181
6.8.2　貝葉斯錯誤率 184

盧菁

北京科技大學博士，北京大學博士後流動站出站。工作於騰訊、愛奇藝等知名互聯網公司，主要從事人工智慧技術的應用和研發工作。主要研究方向為機器學習、自然語言處理、知識圖譜、推薦系統等，有豐富的理論和實踐經驗。