大數據採集、預處理與可視化（微課版）

【章名目錄】
第1章　大數據概述
第２章　Python程式設計
第３章　大數據採集
第４章　大數據預處理技術
第５章　Excel數據獲取與預處理
第６章　Python數據預處理
第７章　數據視覺化技術

【詳細目錄】
第1章　大數據概述
1.1 大數據時代　1
1.2 大數據的相關概念及特徵　2
1.2.1 大數據的概念　2
1.2.2 大數據的發展歷程　3
1.2.3 大數據的特徵　5
1.2.4 大數據的作用　6
1.2.5 大數據的應用領域　7
1.2.6 大數據的關鍵技術　8
1.3 大數據系統簡介　9
1.3.1 Hadoop生態系統　9
1.3.2 Spark生態系統　12
1.4 大數據思維　15
1.4.1 傳統思維方式　15
1.4.2 大數據思維方式　16
1.5 大數據倫理　17
1.5.1 大數據倫理的由來　17
1.5.2 大數據的倫理問題　18
1.5.3 大數據的倫理原則　21
1.6 大數據安全　22
1.6.1 數據全生命週期安全　22
1.6.2 大數據安全防護技術　23
1.7 本章小結　24
1.8 習題　24
第２章　Python程式設計
2.1 Python的安裝與運行　25
2.1.1 Python的特點　25
2.1.2 Python的下載與安裝　26
2.1.3 Python程式的運行　27
2.1.4 協力廠商軟件包的安裝　29
2.1.5 Python編程規範　31
2.2 數據類型與運算子　33
2.2.1 數字和字串　33
2.2.2 列表和元組　38
2.2.3 字典和集合　42
2.2.4 運算子　44
2.3 程式控制結構　47
2.3.1 程式流程圖　47
2.3.2 順序結構　48
2.3.3 選擇結構　49
2.3.4 迴圈結構　51
2.4 函數與模組　54
2.4.1 函數的使用　54
2.4.2 函數的參數傳遞　55
2.4.3 全域變數與區域變數　57
2.4.4 匿名函數　58
2.4.5 模組　59
2.5 文件　60
2.5.1 文件的打開與關閉　60
2.5.2 文件的讀取與寫入　62
2.5.3 文件的定位　63
2.6 本章小結　63
2.7 習題　64
第３章　大數據採集
3.1 大數據採集概述　65
3.1.1 大數據採集的概念　65
3.1.2 大數據採集的數據源　66
3.1.3 大數據採集方法　67
3.1.4 大數據採集平臺　69
3.2 網路爬蟲技術　71
3.2.1 網路爬蟲概述　72
3.2.2 常用網路爬蟲方法　72
3.2.3 網頁數據採集的實現　75
3.2.4 常用網路爬蟲工具　78
3.2.5 電影評論爬取　82
3.3 數據抽取技術　85
3.3.1 數據抽取概述　85
3.3.2 Kettle簡介與其安裝　86
3.3.3 文本數據抽取　87
3.3.4 網頁數據抽取　89
3.4 案例：網路租房資訊採集　91
3.4.1 網路爬蟲採集數據　91
3.4.2 抽取租房信息　94
3.5 本章小結　96
3.6 習題　96
第４章　大數據預處理技術
4.1 數據預處理概述　97
4.1.1 數據品質　97
4.1.2 數據預處理的主要任務　99
4.2 數據清洗　99
4.2.1 缺失值處理方法　99
4.2.2 雜訊數據處理方法　101
4.2.3 冗餘數據處理方法　105
4.2.4 數據格式與內容處理方法　106
4.3 數據集成　106
4.3.1 實體識別問題　106
4.3.2 冗餘問題　107
4.3.3 數據值衝突的檢測與處理　109
4.4 數據變換　110
4.4.1 數據規範化　110
4.4.2 通過離散化變換數據　112
4.5 數據歸約　113
4.5.1 過濾法　114
4.5.2 包裝法　115
4.5.3 嵌入法　116
4.6 數據脫敏　117
4.6.1 數據脫敏類型　117
4.6.2 數據脫敏方法　118
4.7 案例：汽車行駛工況數據預處理　119
4.7.1 案例背景　119
4.7.2 數據描述　119
4.7.3 數據預處理　120
4.8 本章小結　124
4.9 習題　125
第５章　Excel數據獲取與預處理
5.1 Excel數據獲取　126
5.1.1 獲取文本數據　126
5.1.2 獲取網站數據　128
5.1.3 獲取數據庫中的數據　130
5.2 Excel數據清洗與轉換　132
5.2.1 常用數據分析函數　132
5.2.2 刪除重複行　136
5.2.3 文本查找與替換　137
5.2.4 字串截取　139
5.2.5 數據的轉置　140
5.2.6 數據的查詢和引用　140
5.2.7 字母與數字的轉換　142
5.3 Excel數據抽取與合併　143
5.3.1 值的抽取　144
5.3.2 數據合併　146
5.3.3 欄位合併　147
5.4 案例：房價行情的對比分析　148
5.4.1 數據獲取　148
5.4.2 數據預處理與分析　149
5.5 本章小結　151
5.6 習題　151
第６章　Python數據預處理
6.1 Python數據預處理基礎　153
6.1.1 科學計算庫NumPy　153
6.1.2 數據分析庫pandas　160
6.2 數據的分組、分割、合併和變形　168
6.2.1 數據分組　168
6.2.2　數據分割　171
6.2.3　數據合併　172
6.2.4 數據變形　175
6.3 缺失值、異常值和重複值處理　177
6.3.1 缺失值處理　177
6.3.2 異常值處理　181
6.3.3 重複值處理　185
6.4 時間序列數據處理　185
6.4.1 時間序列的基本操作　186
6.4.2 固定頻率的時間序列　187
6.4.3 時間週期及其計算　188
6.5 文本數據分析　189
6.5.1 字串處理方法　189
6.5.2 文本數據分析工具　191
6.5.3　規則運算式　194
6.5.4 文本預處理　196
6.6 案例：IMDb5000電影數據預處理　199
6.6.1 數據分析及代碼實現　199
6.6.2 完整代碼　201
6.7 本章小結　203
6.8 習題　203
第７章　數據視覺化技術
7.1 數據視覺化概述　205
7.1.1 數據視覺化的定義　205
7.1.2 數據視覺化的發展歷程　206
7.1.3 數據視覺化的作用　211
7.2 數據視覺化的理論基礎　212
7.2.1 數據視覺化的流程　212
7.2.2 數據視覺化的設計要素　213
7.2.3 數據視覺化的基礎圖表　216
7.2.4 數據視覺化的常見工具　219
7.3 Python數據視覺化方法　221
7.3.1 Matplotlib繪製基礎圖表　221
7.3.2 seaborn繪製統計圖　229
7.3.3 wordcloud繪製詞雲圖　254
7.3.4 NetworkX繪製網路圖　257
7.3.5 案例：重慶公開庭審數據視覺化　260
7.4 pyecharts數據視覺化方法　265
7.4.1 pyecharts簡介　265
7.4.2 pyecharts應用　266
7.4.3 案例：2020年東京奧運會獎牌看板　267
7.5 本章小結　278
7.6 習題　279

參考文獻　280

葛繼科
 
西南大學博士，加拿大麥吉爾大學博士後出站，重慶科技學院教授，碩士研究生導師。主要從事人工智慧、大數據應用、網路安全等方面的教學與研究工作。

主講課程包括：大數據平臺與應用、大數據分析與挖掘、大數據採集與優化、人工智慧、計算機網路、網路安全技術等。主持省部級教學品質工程項目1項，主持省部級教改重點專案2項、一般項目1項、產學合作育人項目9項、校級教改專案4項，發表教改論文8篇。獲省部級教學成果二等獎1項、校級教學成果二等獎2項。

主持省部級科研專案7項，參與國家級科研專案3項、省部級5項；發表學術論文30餘篇，其中SCI收錄4篇、EI收錄20篇、中文核心3篇，授權發明專利6項。出版教學著作《計算機網路安全技術應用探究》1部，主編《油田大數據應用技術》（石油工業出版社，2021年）、《量子人工智慧引論》（西南師範大學出版社，2021年）等學術著作。