人工智能安全：原理剖析與實踐

《人工智能安全：原理剖析與實踐》對人工智能安全的基本概念和框架進行梳理。第 1 章主要介紹信息安全和人工智能的基礎性概念。第 2 章和第 3 章分別從人工智能資訊系統安全和人工智能演算法安全的角度，對人工智能安全的研究方法、研究手段進行詳述，其中包含大量的真實例子、程式碼。第 4 章主要討論人工智能輔助攻防新場景。第 5 章主要討論人工智能安全生態。希望通過本書，傳統資訊安全和人工智能的研究者能快速進入這個領域，為人工智能安全的研究添磚加瓦。

《人工智能安全：原理剖析與實踐》適合關注人工智能安全的研究人員、工程技術人員、教師、學生等閱讀。
 

第1章　信息安全與人工智能基礎 1
1.1　“人工智能安全”在研究什麼 1
1.1.1　AI Safety與AI Security 1
1.1.2　人工智能系統面臨的安全挑戰 4
1.1.3　應對安全挑戰 7
1.2　信息安全基礎知識 9
1.2.1　信息安全三要素 10
1.2.2　攻擊的產生條件 11
1.2.3　常見的漏洞類型 13
1.2.4　輸入驗證 22
1.2.5　攻擊面 24
1.2.6　漏洞挖掘方法 24
1.2.7　常見的漏洞庫 26
1.2.8　防禦手段 27
1.3　人工智能基礎知識 28
1.3.1　人工智能發展歷史 29
1.3.2　深度學習基礎 33
1.3.3　ImageNet與ILSVRC 35
1.3.4　圖像識別領域的里程碑技術 38
1.3.5　對一些概念的解釋 38
1.4　信息安全與人工智能的碰撞 40
1.5　本章小結 42
參考資料 42

第2章　人工智能信息系統安全 43
2.1　信息系統環境安全 43
2.1.1　人工智能與信息系統環境 43
2.1.2　因存在信息系統環境漏洞而被攻擊的人工智能系統 46
2.2　基礎架構安全 56
2.2.1　人工智能基礎架構 57
2.2.2　人工智能框架安全 62
2.3　依賴庫安全 72
2.3.1　TensorFlow處理GIF檔的一個漏洞 72
2.3.2　依賴庫NumPy中的一個漏洞 78
2.3.3　依賴庫OpenCV中的一個堆溢出漏洞 81
2.4　雲服務安全 85
2.5　人工智能綜合應用：自動駕駛安全 88
2.5.1　自動駕駛技術現狀 88
2.5.2　自動駕駛安全分析 95
2.5.3　自動駕駛汽車感知層攻擊示例及分析 98
2.5.4　汽車信息系統攻擊示例及分析 103
2.6　本章小結 108
參考資料 109

第3章　人工智能演算法安全 110
3.1　人工智能演算法安全概述 110
3.2　白盒場景下的對抗攻擊 112
3.2.1　快速梯度符號法 113
3.2.2　DeepFool演算法 116
3.2.3　投影梯度下降法 119
3.2.4　基於優化的對抗樣本生成演算法——C&W演算法 123
3.2.5　通用對抗擾動 128
3.3　黑盒場景下的對抗攻擊 129
3.3.1　基於遷移的黑盒攻擊 129
3.3.2　基於查詢的黑盒攻擊 138
3.4　對抗防禦 153
3.4.1　數據增強（訓練階段） 154
3.4.2　魯棒網路結構（訓練階段） 161
3.4.3　魯棒損失函數（訓練階段） 167
3.4.4　輸入變換（測試階段） 175
3.4.5　模型後處理（測試階段） 186
3.4.6　對抗檢測（測試階段） 191
3.4.7　可驗證的魯棒訓練 197
3.5　案例分析 200
3.5.1　人臉識別 201
3.5.2　智能汽車 205
3.6　本章小結 209
參考資料 209

第4章　人工智能輔助攻防新場景 215
4.1　自動化漏洞挖掘、攻擊與防禦 215
4.1.1　2016 Cyber Grand Challenge 216
4.1.2　符號執行技術 218
4.1.3　Mayhem系統原理 221
4.2　生成對抗網路在安全領域的應用 223
4.3　DeepFake檢測挑戰賽 226
4.4　實驗：為視頻中的人物換臉 228
4.4.1　實驗步驟 228
4.4.2　實驗原理 230
4.4.3　從法律角度看AI換臉技術 232
4.5　本章小結 234
參考資料 234

第5章　人工智能安全生態 235
5.1　人工智能安全研究現狀 235
5.1.1　政府規劃 235
5.1.2　非政府組織的推動 237
5.1.3　人工智能研究人員對安全的研究 240
5.1.4　廠商和安全極客的作用 240
5.1.5　非人工智能專業科學家的作用 241
5.2　人工智能安全與倫理 242
5.2.1　人工智能倫理研究現狀 242
5.2.2　讓人工智能做出正確的道德決策 245
5.2.3　人工智能道德決策的難點 246
5.2.4　人工智能安全問題責任歸屬 248
5.2.5　人類應該如何對待人工智能 250
5.2.6　人工智能有可能統治人類嗎 251
5.3　本章小結 252
參考資料 252

王琦
KEEN和GeekPwn發起創辦人。曾是微軟美國總部以外第一個區域性安全回應中心ChinaMSRC的創始人之一和技術負責人，微軟亞太區第一位漏洞研究領域專家級研究員。創建並帶領KEEN團隊獲得了亞洲第一個世界駭客大賽冠軍。

朱軍
清華大學計算機系博世人工智慧冠名教授，瑞萊智慧聯合創始人兼首席科學家，IEEE TPAMI副主編，曾任卡內基梅隆大學兼職教授，擔任ICML、 NeurIPS、ICLR等國際會議資深領域主席。獲ICLR傑出論文獎、CCF自然科學一等獎、吳文俊人工智慧自然科學一等獎和科學探索獎，入選“萬人計畫”領軍人才、MIT TR35中國先鋒者、IEEE AI ’s 10 to Watch等。

王海兵
KEEN聯合創始人，GeekPwn安全實驗室總監，前微軟安全專家級工程師。有20餘年安全產品開發及測試經驗，是GeekPwn CAAD人工智慧對抗與防禦大賽的總命題人。