聯邦學習：算法詳解與系統實現

本書首先介紹聯邦學習的定義和發展歷史，按類別介紹聯邦學習算法和發展現狀，介紹聯邦學習的應用場景，以及相關安全機器學習的技術。然後我們將介紹最前沿的聯邦學習算法，用京東數科系統作為實例，對聯邦學統構建和實現進行講解。最後我們將介紹京東數科自研的基於區塊鏈的聯邦學習技術。

前言

第一部分 聯邦學習基礎知識
第 1 章 聯邦學習概述 2
1.1 什麼是聯邦學習 2
1.1.1 聯邦學習的發展歷史 3
1.1.2 聯邦學習的工作流程 4
1.1.3 聯邦學習的分類 6
1.2 聯邦學習的應用和挑戰 8
1.2.1 聯邦學習的應用現狀 8
1.2.2 聯邦學習的核心挑戰 9
1.3 分散式機器學習與聯邦學習 10
1.3.1 分散式機器學習的發展歷史 10
1.3.2 分散式機器學習概述 11
1.3.3 分散式機器學習與聯邦學習的共同發展 13
1.4 總結 14
第 2 章 聯邦學習應用場景 15
2.1 聯邦學習與金融 15
2.2 聯邦學習與生物醫學 17
2.3 聯邦學習與電腦視覺 19
2.4 聯邦學習與自然語言處理 22
2.5 聯邦學習與邊緣計算和雲計算 25
2.6 聯邦學習與電腦硬體 27
2.7 總結 29
第 3 章 常用隱私保護技術 30
3.1 面向隱私保護的機器學習 30
3.1.1 概述 30
3.1.2 面向隱私保護的機器學習發展 33
3.2 常用的隱私保護技術 34
3.2.1 差分隱私 34
3.2.2 安全多方計算 41
3.2.3 同態加密 49
3.3 總結 66

第二部分 聯邦學習算法詳述
第 4 章 縱向聯邦樹模型算法 68
4.1 樹模型簡介 68
4.2 縱向聯邦隨機森林算法 69
4.2.1 算法結構 69
4.2.2 算法詳述 70
4.2.3 安全性分析 71
4.3 縱向聯邦梯度提升算法 75
4.3.1 XGBoost 算法 76
4.3.2 SecureBoost 算法 76
4.3.3 所提算法詳述 77
4.4 總結 78
第 5 章 縱向聯邦線性回歸算法 79
5.1 縱向聯邦線性回歸 80
5.1.1 算法訓練過程 81
5.1.2 算法預測過程 81
5.1.3 縱向聯邦的一個困境 82
5.2 聯邦多視角線性回歸 82
5.2.1 基於 BFGS 的二階優化方法 84
5.2.2 安全計算協議 87
5.3 總結 92
第 6 章 縱向聯邦核學習算法 93
6.1 引言 93
6.2 雙隨機核方法 95
6.2.1 問題定義 95
6.2.2 核方法的簡要介紹 96
6.2.3 隨機傅裡葉特徵近似 98
6.2.4 雙隨機梯度 98
6.3 所提算法 99
6.3.1 問題表示 100
6.3.2 算法結構 100
6.3.3 算法設計 101
6.3.4 場景案例 103
6.4 理論分析 105
6.4.1 收斂性分析 105
6.4.2 安全性分析 105
6.4.3 複雜度分析 106
6.5 實驗驗證 106
6.5.1 實驗設置 106
6.5.2 實驗結果和討論 107
6.6 總結 110
第 7 章 非同步縱向聯邦學習算法 111
7.1 引言 111
7.2 相關工作 112
7.2.1 現有工作概述 112
7.2.2 SGD 類算法回顧 113
7.3 問題表示 114
7.4 所提算法 114
7.4.1 算法框架 114
7.4.2 算法詳述 116
7.4.3 場景案例 119
7.5 理論分析 120
7.5.1 收斂性分析 120
7.5.2 安全性分析 123
7.5.3 複雜度分析 124
7.6 實驗驗證 125
7.6.1 實驗設置 125
7.6.2 實驗結果和討論 127
7.7 總結 1