工業大數據分析算法實戰

叢書序一
叢書序二
前言

第1章 工業大數據分析概覽 1
1.1 工業大數據分析的範疇與特點 1
1.1.1 數據分析的範疇 1
1.1.2 典型分析主題 2
1.1.3 工業數據分析的特點 4
1.1.4 數據分析的典型手段 5
1.2.1 CRISP-DM簡介 9
1.2.2 分析課題的執行路徑 10
1.3.1 指令碼語言軟體 12
1.3.2 圖形化桌面軟體 13
1.3.3 雲端分析軟體 14
1.4.1 分析算法理解的維度與路徑 15
1.4.2 必讀圖書 16
1.4.3 分析算法背後的樸素思想 18
1.4.4 工程化思維 20

2.1 數據操作基礎 23
2.1.1 數據框的基本操作 23
2.1.2 數據視覺化 24
2.2.1 cumsum等primitive函數的利用:避免迴圈 25
2.2.2 帶時間戳記的數據框合併 26
2.2.3 時序數據視覺化:多個子圖共用一個x軸 29
2.2.4 時序數據視覺化:NA用來間隔顯示時序 31
2.2.5 參數區間的對比顯示（在概率密度圖上） 31
2.2.6 獲取R檔的所在路徑 32
2.2.7 分段線性回歸如何通過lm（）實現 33
2.3.1 引言 33
2.3.2 R語言EDA包 34
2.3.3 其他工具包 36
2.3.4 小結 37
2.4.1 數據的業務化 38
2.4.2 業務的數據化 41
2.4.3 機理演繹法 45
2.4.4 細緻求實的基本素養 48
2.4.5 小結 50
2.5.1 基於數據類型的特徵提取 51
2.5.2 基於關聯關係的特徵自動生成 54
2.5.3 基於語法樹的變數間組合特徵生成 55
2.6.1 特徵選擇的框架 56
2.6.2 搜索策略 57
2.6.3 子集評價 59
2.6.4 小結 65

3.1 統計分析 67
3.1.1 概率分佈 69
3.1.2 參數估計 69
3.1.3 假設檢驗 72
3.2.2 基於核函數的非參數方法 73
3.2.3 單概率分佈的參數化擬合 76
3.2.4 混合概率分佈估計 79
3.2.5 小結 81
3.3.1 引言 82
3.3.2 基礎線性回歸模型———OLS模型 82
3.3.3 OLS模型檢驗 85
3.3.4 魯棒線性回歸 91
3.3.5 結構複雜度懲罰（正則化） 94
3.3.6 擴展 94
3.4.1 引言 96
3.4.2 前向計算過程 98
3.4.3 後剪枝過程 99
3.4.4 變數重要性評價 99
3.4.5 MARS與其他算法的關係 100
3.5.1 ANN逼近能力的直觀理解 101
3.5.2 極限學習機 106
3.6.1 決策樹的概念 111
3.6.2 決策樹構建過程 112
3.6.3 常用決策樹算法 113
3.7.1 引言 117
3.7.2 epsilon-SVR算法 118
3.7.3 nu-SVR算法 122
3.7.4 不同SVM算法包的差異 123
3.7.5 擴展 124
3.8.1 引言 124
3.8.2 工作原理 125
3.8.3 示例 126
3.8.4 討論 128
3.9.1 引言 129
3.9.2 樸素貝葉斯 130
3.9.3 貝葉斯網路 131
3.9.4 一般圖模型 134
3.9.5 討論與擴展閱讀 140
3.10.1 引言 141
3.10.2 Bagging方法 142
3.10.3 Boosting方法 143
3.10.4 Stacking方法 149
3.11.1 引言 157
3.11.2 評價指標 157
3.11.3 評價方法 163
3.11.4 特徵重要度 165
3.12.1 引言 167
3.12.2 基於距離的聚類:K-means、PAM 167
3.12.3 基於層次的聚類:Hclust 169
3.12.4 基於密度的聚類:DBSCAN 171
3.12.5 基於分佈的聚類:GMM 173
3.12.6 聚類結果的評價 173
3.13.1 引言 176
3.13.2 關聯規則概念與度量指標 176
3.13.3 關聯規則實現過程 176
3.13.4 關聯規則算法 177
3.13.5 關聯規則視覺化 180
3.13.6 關聯規則評價 182
3.14.1 引言 183
3.14.2 深度學習算法分類 183
3.14.3 深度學習框架 189
3.14.4 常見疑惑 194
3.14.5 深度學習算法的加速 196
3.15.1 計算負載模式 196
3.15.2 並行化計算 199
3.15.3 新計算範式 200

4.1 時序算法簡介 210
4.2.1 傅裡葉變換的直觀理解 212
4.2.2 時頻分析 216
4.2.3 時序變換 223
4.2.4 壓縮感知 230
4.3.1 STL 234
4.3.2 奇異譜分析 238
4.3.3 EMD及擴展方法 245
4.4.1 Changepoint 250
4.4.2 TreeSplit 253
4.4.3 Autoplait 254
4.4.4 應用示例 255
4.6.1 數值型頻繁模式 264
4.6.2 符號型頻繁模式 266
4.7.1 基於度量的方法 270
4.7.2 基於模型重構的方法 271
4.7.3 基於頻繁模式挖掘的方法 271
4.8.1 DTW距離 277
4.8.2 SAX距離 277
4.9.1 經典分析算法 281
4.9.2 深度學習的方法 282
4.10.1 基於時序分解的預測算法 288
4.10.2 基於回歸建模的預測算法 289

5.1 優化算法 293
5.1.1 模型分類 293
5.1.2 經典組合優化模型 297
5.1.3 典型工具 300
5.3.1 算法分類 303
5.3.2 典型工具 305
5.4.1 文本數據 306
5.4.2 圖像數據 311
5.4.3 時空數據 318

6.1 工業分析中的數據預處理 322
6.1.1 工況劃分 322
6.1.2 數據缺失 323
6.1.3 時間數據不連續 324
6.1.4 強雜訊 324
6.1.5 大慣性系統 324
6.1.6 趨勢項的消除 324
6.3.1 毛刺檢測特徵 330
6.3.2 單調趨勢模式 331
6.3.3 平穩過程的漂移檢測 331
6.3.4 多點位不一致 332
6.3.5 超界 333
6.3.6 變點檢測 333
6.3.7 一維曲線平滑與分區 335
6.3.9 持續某種狀態 336
6.4.1 工業時序數據的特點 338
6.4.2 短時序分類問題 339
6.4.3 長時序分類問題 341
6.4.4 不同類型問題的轉換 342

7.1 概述 345
7.2.1 物料跟蹤模型 347
7.2.2 過程穩定性監控 348
7.4.1 應用示例 352
7.4.2 工況劃分 354
7.4.3 操作參數優化 355
7.4.4 其他分析 356
7.5.1 應用示例 356
7.5.2 理想工藝過程擬合 360
7.5.3 動態控制優化 361
7.6.1 應用示例 363
7.6.2 佳工藝路徑挖掘 364
7.6.3 異常排查 364
7.6.4 操作參數優化 365

8.1 決策優化問題的建模思路 370
8.2.1 值 372
8.2.2 Min-Max問題 373
8.2.4 範圍約束 374
8.3.1 決策變數值域不連續 374
8.3.2 目標函數不連續 375
8.3.3 或關係約束 376
8.3.4 條件型約束 376
8.3.5 邏輯運算式 376
8.3.6 消除變數相乘 377
8.3.7 大M法 377
8.4.1 業務問題描述 378
8.4.2 問題一:路線優化 379
8.4.3 問題二:排班計畫 380
8.4.4 思考與小結 384
8.5.1 預測量的要素分解方法 386
8.5.2 例外場景的處理 387
8.5.3 宏觀環境變化的處理方法 388

9.1 討論範疇 390
9.1.1 知識類型 390
9.1.2 技術方法 391
9.1.3 業務領域 392
9.1.4 方法論的作用 392
9.1.5 現有的知識沉澱方法論 392
9.3.1 共性要素 394
9.3.2 感測器異常報警 394
9.3.3 異常預警:“特徵量-徵兆量-研判規則”的範式 397
9.3.4 健康評估:“劣化度-健康度-綜合評價”的範式 400
9.3.5 故障類型研判:“特徵量-證據/現象-推理邏輯”的範式 401
9.3.6 故障處置效果監控:“症狀-異常類型/嚴重等級-處置措施-狀態”的範式 401
9.3.8 性能優化:無固定範式 403
9.5.1 專家規則驅動的方法:AI-FIT-PM過程模型 406
9.5.2 少量樣本驅動的方法 419
9.5.3 數據驅動的方法 423
9.5.4 不同方法間的轉化 423
9.6.1 領域建模 424
9.6.2 模型研發環境 424
9.6.3 模型部署運行環境 425
9.9.1 案例背景 431
9.9.2 系統動力學模型 434
9.9.3 異常預警規則模型 435
9.9.4 故障排查邏輯 436

10.1 數據分析項目失敗的原因 440
10.3.1 應用範式 444
10.3.2 模型格式 446
10.4.1 MLOps的內容 447
10.4.2 MLOps與其他Ops的關係 449
10.4.3 MLOps的支撐軟體 450
10.4.4 工業數據分析MLOps的特點 451
10.4.5 MLOps的適用範圍 452
10.5.1 分析服務引擎 452
10.5.2 Web應用引擎 453
10.6.1 互動式報告工具 457
10.6.2 基於Markdown的報告工具 458
10.6.3 基於Office API的報告工具 459
10.7.1 任務管理 460
10.7.2 計算並行化 460

參考文獻