數據科學的數學基礎

數據科學是從單純的“大”數據提煉出“智慧”的數據，以供人們發現新知識並輔助決策的綜合交叉學科。本書簡要闡述數據科學的數學基礎。全書共11章，內容包括線性代數基礎、線性空間與線性變換、向量與矩陣範數、矩陣分解、概率統計基礎、隨機過程、化基礎、線性規劃、常用無約束化方法、常用約束化方法以及綜合案例。

除1章外，每章都有應用實例與該章內容緊密結合，以進一步加強讀者對知識點的理解和掌握．所有的應用實例和1章綜合案例的代碼都在Windows作業系統下利用Python3.7編寫，並在互動式解譯器IDLE上調試通過。本書可作為高等院校大數據、人工智慧等相關專業的教材，也可供從事大數據、人工智慧及相關領域教學、研究和應用開發的人員參考。

第1章　線性代數基礎 1
1．1　行列式　1
1．1．1　行列式的概念　1
1．1．2　行列式的性質　4
1．1．3　行列式的計算　5
1．1．4　克拉默法則　6
1．2　矩陣　9
1．2．1　矩陣的概念　9
1．2．2　矩陣的運算　11
1．2．3　逆矩陣　17
1．2．4　矩陣分塊　20
1．2．5　矩陣的初等變換　23
1．2．6　矩陣的秩　28
1．3　線性方程組　29
1．3．1　高斯消元法　30
1．3．2　向量組的線性相關性　33
1．3．3　向量組的秩　37
1．3．4　向量空間　40
1．3．5　線性方程組解的結構　42
1．4　相似矩陣與二次型　45
1．4．1　正交矩陣　45
1．4．2　矩陣的特徵值與特徵向量　48
1．4．3　相似矩陣　51
1．4．4　二次型　52
1．5　應用實例　61
1．5．1　Python簡介　61
1．5．2　背景與問題　64
1．5．3　模型與求解　65
1．5．4　Python實現　67
習題1　71

第2章　線性空間與線性變換　72
2．1　線性空間　72
2．1．1　線性空間的概念　72
2．1．2　線性空間的基、維數及向量的座標　74
2．1．3　基變換與座標變換　78
2．2　線性子空間　80
2．2．1　子空間的概念　80
2．2．2　子空間的交、和與直和　82
2．3　線性變換　85
2．3．1　線性變換的概念及其性質　86
2．3．2　線性變換的運算　88
2．3．3　線性變換的矩陣　89
2．3．4　線性變換的對角化　91
2．3．5　線性變換的不變子空間　94
2．3．6　線性變換的若當標準型　96
2．4　內積空間　101
2．4．1　內積空間的概念　102
2．4．2　向量的度量　103
2．4．3　標準正交基　104
2．4．4　子空間的正交補空間　107
2．5　應用實例　108
2．5．1　背景與問題　108
2．5．2　模型與求解　109
2．5．3　Python實現　110
習題2　111

第3章　向量與矩陣範數　112
3．1　向量範數　112
3．1．1　向量範數的概念　112
3．1．2　向量範數的連續性和等價性　114
3．1．3　向量序列的收斂性　115
3．2　矩陣範數　116
3．2．1　矩陣範數的概念　116
3．2．2　矩陣的誘導範數　117
3．2．3　矩陣序列的收斂性　120
3．3　矩陣的譜半徑　122
3．4　應用實例　125
3．4．1　向量範數的計算　125
3．4．2　矩陣範數的計算　126
習題3　127

第4章　矩陣分解　128
4．1　矩陣的滿秩分解　128
4．2　矩陣的LU分解　129
4．3　矩陣的舒爾分解　138
4．4　正規矩陣及其譜分解　140
4．5　矩陣的奇異值分解　145
4．5．1　求矛盾線性方程組的最小二乘解　149
4．5．2　求矩陣的值空間和零空間　151
4．6　應用實例　152
4．6．1　背景與問題　152
4．6．2　模型與求解　152
4．6．3　Python實現　153
習題4　157

第5章　概率統計基礎　158
5．1　隨機事件和概率　158
5．1．1　隨機事件的概念　158
5．1．2　隨機事件的概率　160
5．1．3　條件概率　164
5．1．4　全概率公式和貝葉斯公式　165
5．1．5　事件的獨立性　166
5．2　隨機變數及其分佈　168
5．2．1　隨機變數及其分佈函數　168
5．2．2　離散型隨機變數及其分佈律　169
5．2．3　連續型隨機變數及其概率密度　170
5．2．4　隨機變數的函數的分佈　170
5．2．5　常用的隨機變數　171
5．3　多維隨機變數及其分佈　173
5．3．1　n維隨機變數及其聯合分佈　173
5．3．2　邊緣分佈　175
5．3．3　條件分佈　178
5．3．4　隨機變數的獨立性　179
5．3．5　n維隨機變數的函數的分佈　180
5．4　隨機變數的數字特徵　182
5．4．1　數學期望　182
5．4．2　方差　183
5．4．3　協方差與相關係數　184
5．4．4　矩和協方差矩陣　185
5．5　大數定律和中心極限定理　186
5．5．1　大數定律　186
5．5．2　中心極限定理　187
5．6　統計量與參數的點估計　188
5．6．1　統計量的概念　188
5．6．2　統計量的分佈　190
5．6．3　參數的矩估計法　192
5．6．4　參數的最大似然估計法　193
5．6．5　估計量的評選標準　196
5．7　應用實例　197
5．7．1　背景與問題　197
5．7．2　模型與求解　197
5．7．3　Python實現　199
習題5　202

第6章　隨機過程　203
6．1　隨機過程的概念　203
6．1．1　隨機過程的定義　203
6．1．2　隨機過程的分類　204
6．2　隨機過程的統計描述　205
6．2．1　隨機過程的分佈函數族　205
6．2．2　隨機過程的數字特徵　207
*6．2．3　多維隨機過程的聯合
分佈和數字特徵　210
6．3　泊松過程和維納過程　212
6．3．1　獨立增量過程　212
6．3．2　泊松過程　213
6．3．3　維納過程　215
6．4　瑪律可夫過程　216
6．4．1　瑪律可夫過程的概念　216
6．4．2　多步轉移概率的確定　221
6．4．3　遍歷性與極限分佈　224
6．5　應用實例　227
6．5．1　背景與問題　227
6．5．2　模型與求解　227
6．5．3　Python實現　228
習題6　229

第7章　最優化基礎　230
7．1　多元函數分析　230
7．1．1　開集、閉集　230
7．1．2　梯度　231
7．1．3　方嚮導數　235
7．1．4　泰勒展開式　238
7．1．5　微積分中的最優化方法　239
7．2　最優化問題的基本概念　242
7．2．1　最優化問題的數學模型　242
7．2．2　最優化問題的解　242
7．2．3　最優化問題的分類　243
7．3　最優化問題的下降演算法　244
7．3．1　可行點列的產生　244
7．3．2　演算法的反覆運算步驟　245
7．3．3　演算法的終止準則　245
7．3．4　演算法的收斂性　245
7．4　凸集與凸函數　246
7．4．1　凸集　246
7．4．2　凸函數　249
7．5　凸規劃　253
7．6　應用實例　255
7．6．1　背景與問題　255
7．6．2　模型與求解　255
7．6．3　Python實現　256
習題7　257

第8章　線性規劃　258
8．1　線性規劃的基本概念和定理　258
8．1．1　線性規劃問題的標準形式　258
8．1．2　線性規劃問題的解　260
8．1．3　線性規劃的基本定理　262
8．2　線性規劃的單純形法　265
8．2．1　單純形法的基本思想　265
8．2．2　單純形表　273
8．2．3　大M法和兩階段法　277
8．3　線性規劃的對偶問題與
對偶單純形法　281
8．3．1　對偶問題的概念和關係　281
8．3．2　對偶理論　284
8．3．3　線性規劃的對偶單純形法　286
*8．4　靈敏度分析　289
8．4．1　價值系數的變化　289
8．4．2　資源限制系數的變化　291
8．5　應用實例　292
8．5．1　背景與問題　292
8．5．2　模型與求解　292
8．5．3　Python實現　293
習題8　294

第9章　常用無約束最優化方法　296
9．1　一維搜索的最優化方法　296
9．1．1　最優步長的確定　296
9．1．2　搜索區間的確定　297
9．1．3　黃金分割法　299
9．1．4　抛物線插值法　301
9．1．5　對分法　304
9．2　最速下降法　305
9．2．1　最速下降法的基本原理　305
9．2．2　最速下降法的反覆運算步驟　306
9．3　牛頓法　308
9．3．1　牛頓法的基本原理　308
9．3．2　牛頓法的反覆運算步驟　309
9．3．3　修正牛頓法　310
9．3．4　擬牛頓法　310
9．4　共軛梯度法　315
9．4．1　共軛方向法　315
9．4．2　共軛梯度法　317
9．5　最小二乘法　319
9．5．1　線性最小二乘問題　319
9．5．2　非線性最小二乘問題　320
9．6　應用實例　322
9．6．1　背景與問題　322
9．6．2　模型與求解　323
9．6．3　Python實現　324
習題9　326

第10章　常用約束最優化方法　327
10．1　約束最優化問題的最優性條件　327
10．1．1　等式約束最優化問題的
最優性條件　328
10．1．2　一般約束最優化問題的
最優性條件　328
10．2　罰函數法與乘子法　331
10．2．1　外點罰函數法　331
10．2．2　內點罰函數法　334
10．2．3　乘子法　336
10．3　應用實例　342
10．3．1　背景與問題　342
10．3．2　模型與求解　342
10．3．3　Python實現　343
習題10　345

第11章　綜合案例　347
11．1　基於HMM的中文分詞　347
11．1．1　背景與問題　347
11．1．2　模型與求解　347
11．1．3　Python實現　351
11．2　協同過濾　357
11．2．1　背景與問題　357
11．2．2　模型與求解　357
11．2．3　Python實現　358

參考文獻　368

盧力

博士，華中科技大學軟體學院副教授。目前主要從事數位影像處理與模式識別和資料科學等方向的研究工作。主持和參與多項科研項目和教學研究項目的研究；在國內外重要學術期刊和會議上發表論文二十餘篇；正式出版教材2部。主要承擔研究生“軟件數學”“數位影像處理及應用”，本科生“離散數學”“數學建模”等課程的教學任務。指導本科生參加美國大學生數學建模競賽，多次獲得一、二、三等獎。