大數據分析師面試筆試寶典

第1章 面試經驗／1
1.1 大資料分析技能要求／1
1.1.1 資料分析師／1
1.1.2 資料開發工程師／4
1.1.3 資料採擷工程師／7
1.1.4 職業能力模型／10
1.2 資料分析工作流程／10
1.2.1 組織架構／10
1.2.2 分析流程／11
1.3 資料分析師臨場面試／13
1.3.1 如何準備面試／13
1.3.2 面試問題／16
1.4 本章總結／18

第2章 統計學知識／19
2.1 概率知識／19
2.1.1 概率模型之間的關係解析／19
2.1.2 概率相關面試題／25
2.1.3 貝葉斯公式／28
2.2 參數估計／31
2.2.1 點估計／31
2.2.2 區間估計／34
2.3 假設檢驗／41
2.3.1 假設檢驗原理／41
2.3.2 兩類錯誤／43
2.3.3 假設檢驗的常用方法／45
2.4 抽樣技術解析／49
2.4.1 樣本量影響因素分析／50
2.4.2 假設檢驗樣本量計算／52
2.4.3 參數估計樣本量計算／53
2.5 瑪律可夫模型／54
2.5.1 瑪律可夫過程原理／55
2.5.2 瑪律可夫模型計算／55
2.6 隱瑪律可夫模型／57
2.6.1 HMM和三類問題／57
2.6.2 求概率問題／58
2.6.3 預測問題／59
2.6.4 學習問題／60
2.7 EM演算法／62
2.7.1 基本思想／62
2.7.2 演算法流程／63
2.8 本章總結／63

第3章 資料採擷演算法／65
3.1 常用聚類演算法／66
3.1.1 Kmeans演算法／66
3.1.2 DBSCAN演算法／68
3.1.3 聚類演算法評估／69
3.2 常用分類演算法／74
3.2.1 決策樹／74
3.2.2 樸素貝葉斯／79
3.2.3 KNN／80
3.2.4 SVM／81
3.2.5 邏輯回歸／84
3.2.6 BP神經網路／88
3.3 集成學習演算法／91
3.3.1 Bagging原理／92
3.3.2 隨機森林／93
3.3.3 Boosting原理／95
3.3.4 Adaboost演算法／96
3.3.5 Stacking演算法／99
3.3.6 分類演算法評估／100
3.3.7 分類演算法小結／108
3.4 關聯規則演算法／108
3.4.1 Apriori／108
3.4.2 Fp_Growth／111
3.4.3 演算法評估／112
3.5 資料降維演算法／112
3.5.1 降維技術基本理論／112
3.5.2 特徵選擇／113
3.5.3 主成分分析／116
3.5.4 SVD分解／118
3.5.5 降維方法選擇／121
3.6 資料升維方法／121
3.6.1 分箱／121
3.6.2 互動式特徵／123
3.7 推薦演算法／124
3.7.1 基於內容推薦／124
3.7.2 基於用戶的協同過濾／125
3.7.3 基於物品的協同過濾／126
3.7.4 SVD推薦原理／127
3.7.5 推薦演算法評估／130
3.8 模型優化方法／130
3.8.1 機器學習抽樣／130
3.8.2 相似性度量／134
3.8.3 損失函數／136
3.8.4 過擬合與欠擬合／138
3.8.5 正則化方法／139
3.8.6 剪枝方法／141
3.8.7 模型選擇／144
3.9 本章總結／145

第4章 大資料技術解析／147
4.1 資料埋點技術／148
4.1.1 技術原理／148
4.1.2 代碼埋點／149
4.1.3 視覺化埋點／149
4.1.4 無埋點技術／150
4.1.5 埋點需求分析／150
4.1.6 選擇部署方式／151
4.2 網路爬蟲技術／152
4.2.1 聚焦爬蟲工作流程／153
4.2.2 資料解析流程／154
4.2.3 爬行策略／154
4.2.4 網頁更新策略／155
4.3 資料倉庫技術／156
4.3.1 數倉名詞解析／156
4.3.2 資料建模方法／161
4.3.3 數倉建設原則／164
4.3.4 SQL查詢／166
4.3.5 SQL查詢優化／170
4.4 ETL技術／171
4.4.1 資料品質評估／172
4.4.2 ETL流程／173
4.4.3 缺失值處理方法／177
4.4.4 異常值識別方法／179
4.5 Hadoop技術／180
4.5.1 Hadoop核心之HDFS／181
4.5.2 Hadoop核心之MapReduce／184
4.5.3 YARN／190
4.5.4 WordCount源碼／192
4.5.5 MapReduce優化／194
4.6 Spark技術／196
4.6.1 Spark集群運行／196
4.6.2 Spark程式運行／199
4.6.3 Spark RDD／202
4.6.4 Spark存儲／210
4.6.5 Spark 記憶體管理／216
4.6.6 Spark資源配置／222
4.6.7 Spark Shuffle機制／224
4.6.8 Spark的運算元調優／230
4.6.9 資料傾斜問題解析／231
4.7 本章總結／235

第5章 數據視覺化／237
5.1 圖表類型／237
5.2 繪圖原則／243
5.3 ECharts快速上手／247
5.3.1 ECharts引入／247
5.3.2 準備DOM容器／248
5.3.3 柱狀圖示例／249
5.4 本章總結／249

附錄／250
附錄A 筆面試真題／250