特徵工程的藝術：通用技巧與實用案例

特徵工程可以修改數據特徵，好地捕獲問題本質，從而改進結果。這個過程既是一種藝術，也是技巧和訣竅的一種結合。本書是一本特徵工程實用指南，主要探討如何利用特徵工程提升機器學習解決方案的性能。本書從特徵工程的基本概念和技術開始介紹，建立了一種獨特的跨領域方法，通過充分研究案例詳細介紹了圖數據、時間戳記數據、文本數據和圖像數據的處理方法，包括分箱、折外估計、特徵選擇、數據降維和可變長度數據編碼等重要主題。

第一部分 基礎知識
第1章 簡介　　2
1.1 特徵工程　　4
1.2 模型評價　　8
1.2.1 度量　　8
1.2.2 交叉驗證　　10
1.2.3 過擬合　　11
1.2.4 維數災難　　12
1.3 週期　　12
1.3.1 ML週期　　13
1.3.2 特徵工程週期　　15
1.4 分析　　17
1.4.1 探索性數據分析　　17
1.4.2 誤差分析　　18
1.5 其他過程　　20
1.5.1 領域建模　　20
1.5.2 特徵構建　　22
1.6 討論　　24
1.7 擴展學習　　26
第2章 特徵組合：歸一化、離散化和異常值　　28
2.1 歸一化特徵　　29
2.1.1 標準化和去相關性　　31
2.1.2 平滑　　33
2.1.3 特徵加權　　34
2.2 離散化和分箱　　35
2.2.1 無監督離散化　　36
2.2.2 監督離散化　　38
2.3 描述性特徵　　41
2.3.1 長條圖　　41
2.3.2 其他描述性特徵　　43
2.4 處理異常值　　44
2.5 技術　　46
2.6 擴展學習　　47
第3章 特徵擴展：可計算特徵、填充與核技巧　　48
3.1 可計算特徵　　49
3.2 填充　　54
3.3 複雜特徵分解　　57
3.4 核操作特徵擴展　　59
3.5 擴展學習　　62
第4章 特徵縮減：特徵選擇、降維和嵌入　　64
4.1 特徵選擇　　65
4.1.1 度量　　66
4.1.2 組成特徵集：搜索與篩選　　73
4.1.3 技術　　75
4.2 正則化與嵌入式特徵選擇　　77
4.2.1 L2 正則化：嶺回歸　　78
4.2.2 L1 正則化：LASSO　　78
4.2.3 其他使用嵌入式特徵選擇的演算法　　79
4.3 數據降維　　80
4.3.1 特徵雜湊　　81
4.3.2 隨機投影　　82
4.3.3 奇異值分解　　82
4.3.4 隱狄利克雷分配　　83
4.3.5 聚類　　84
4.3.6 其他數據降維技術　　85
4.3.7 嵌入　　86
4.4 擴展學習　　90
第5章 主題：可變長度數據與自動特徵工程　　91
5.1 可變長度特徵向量　　91
5.1.1 集合　　91
5.1.2 列表　　92
5.1.3 樹　　94
5.1.4 圖　　96
5.1.5 時間序列　　97
5.2 基於實例的特徵工程　　100
5.3 深度學習與特徵工程　　102
5.4 自動特徵工程　　105
5.4.1 特徵學習　　105
5.4.2 無監督特徵工程　　108
5.5 擴展學習　　109

第二部分 案例研究
第6章 圖數據　　113
6.0 本章概述　　115
6.1 WikiCities數據集　　116
6.2 探索性數據分析　　117
6.3 第 一個特徵集　　124
6.4 第二個特徵集　　130
6.5 終的特徵集　　131
6.6 擴展學習　　133
第7章 時間戳記數據　　134
7.0 本章概述　　135
7.1 WikiCities：歷史特徵　　137
7.2 時間延遲特徵　　139
7.2.1 填充時間戳記數據　　139
7.2.2 第 一次特徵化：填充二階延遲數據　　140
7.2.3 誤差分析　　141
7.3 滑動窗口　　142
7.4 第三次特徵化：EMA　　143
7.5 使用歷史數據進行擴展　　143
7.5.1 第四次特徵化：擴展的數據　　144
7.6 時間序列　　145
7.6.1 WikiCountries數據集　　145
7.6.2 探索性數據分析　　146
7.6.3 第 一次特徵化：無TS特徵　　149
7.6.5 使用模型預測作為特徵　　149
7.6.6 討論　　150
7.7 擴展學習　　151
第8章 文本數據　　153
8.0 本章概述　　155
8.1 WikiCities：文本　　156
8.2 探索性數據分析　　156
8.3 僅數值型記號　　159
8.3.1 詞類型與記號　　160
8.3.2 分詞：基礎知識　　160
8.3.3 第 一次特徵化　　161
8.4 詞袋　　162
8.4.1 分詞　　162
8.4.2 第二次特徵化　　163
8.5 停用詞和形態學特徵　　165
8.5.1 停用詞　　165
8.5.2 分詞：詞幹提取　　166
8.5.3 第三次特徵化　　166
8.6 上下文特徵　　167
8.6.1 二元詞　　168
8.6.2 第四次特徵化　　169
8.7 跳躍二元詞與特徵雜湊　　169
8.7.1 跳躍二元詞　　169
8.7.2 第五次特徵化　　169
8.8 數據降維與嵌入　　170
8.8.1 嵌入　　170
8.8.2 特徵加權：TF-IDF　　171
8.8.3 第六次特徵化　　172
8.9 結束語　　172
8.9.1 內容擴展　　174
8.9.2 文本中的結構　　174
8.10 擴展學習　　174
第9章 圖像數據　　175
9.0 本章概述　　176
9.1 WikiCities：衛星圖像　　177
9.2 探索性數據分析　　178
9.3 圖元即特徵　　179
9.3.1 第 一次特徵化　　179
9.3.2 可計算特徵：高斯模糊　　180
9.3.3 白化　　182
9.3.4 對變動的誤差分析　　183
9.4 自動數據集擴展　　183
9.4.1 仿射變換　　184
9.4.2 第二次特徵化　　184
9.5 描述性特徵：長條圖　　184
9.6 局部特徵檢測器：角點　　185
9.6.1 Harris角點檢測　　186
9.6.2 第四次特徵化　　186
9.7 數據降維：HOG　　187
9.8 結束語　　189
9.9 擴展學習　　191
第10章 其他領域：視頻、GIS和偏好　　192
10.1 視頻　　193
10.1.1 數據：螢幕錄製　　194
10.1.2 關鍵幀檢測　　194
10.1.3 目標跟蹤：均值漂移　　195
10.1.4 擴展學習　　197
10.2 地理特徵　　197
10.3 偏好　　199
10.3.1 數據：Linux核心代碼提交　　200
10.3.2 填充偏好數據　　201
10.3.3 擴展學習　　202

巴勃羅·迪布（Pablo Duboue）
 
NLP學者。2005年博士畢業于美國哥倫比亞大學，師從ACL前 Kathleen McKeown教授，曾是IBM Watson DeepQA團隊成員。2016年創辦NLP技術公司Textualization。他有豐富的教學經驗，是世界多所大學的訪問教授。