| |
|
|
| |
|
|
|
|
|
|
|
ISBN |
9787121467059 |
| 定价 |
RMB109.00 |
| 售价 |
RM119.90 |
|
优惠价 |
RM89.93 * (-25%)
|
|
作者 |
張奇,桂韜,鄭銳,黃萱菁
|
|
出版社 |
電子工業出版社
|
|
出版日期 |
2023-12-23 |
|
装订 |
平裝. 無. 306 页. 26. |
| 库存量 |
購買後立即進貨
下单时可选择“空运”或“海运”（空运和海运需独立下单）。空运费每本书/CD是RM32.00。
空运需时8-11个工作天，海运需时约30个工作天。
（以上预计时间不包括出版社调货的时间以及尚未出版的预购商品）
库存有限或需要调货，订购时间可能延长。如无法订购则将通知进行退款。 |
| |
我要订购 有现货时通知我 |
| |
放入下次购买清单 |
| |
|
| |
|
|
|
| |
|
|
|
|
|
|
| |
|
|
| |
|
|
| |
|
|
| |
|
|
| |
|
|
| |
購買中國簡體書籍請注意：
1. 因裝幀品質及貨運條件未臻完善，中國簡體書可能有出現磨痕、凹痕、折痕等問題，故簡體字館除封面破損、內頁脫落、缺頁等較嚴重的狀態外，其餘所有商品將正常出貨。
|
|
| |
|
|
| |
|
|
| |
目錄
第1章 緒論 1
1.1 大語言模型的基本概念 1
1.2 大語言模型的發展歷程 4
1.3 大語言模型的構建流程 8
1.4 本書的內容安排 11
第2章 大語言模型基礎 13
2.1 Transformer結構 13
2.1.1 嵌入展示層 14
2.1.2 注意力層 16
2.1.3 前饋層 18
2.1.4 殘差連接與層歸一化 19
2.1.5 編碼器和解碼器結構 20
2.2 生成式預訓練語言模型GPT 25
2.2.1 無監督預訓練 26
2.2.2 有監督下游任務微調 27
2.2.3 基於HuggingFace的預訓練語言模型實踐 27
2.3 大語言模型的結構 33
2.3.1 LLaMA的模型結構 34
2.3.2 注意力機制優化 40
2.4 實踐思考 47
第3章 大語言模型預訓練資料 49
3.1 資料來源 49
3.1.1 通用資料 50
3.1.2 專業數據 51
3.2 資料處理 52
3.2.1 品質過濾 52
3.2.2 冗餘去除 53
3.2.3 隱私消除 55
3.2.4 詞元切分 55
3.3 資料影響分析 61
3.3.1 資料規模 61
3.3.2 資料品質 64
3.3.3 數據多樣性 66
3.4 開來源資料集 68
3.4.1 Pile 68
3.4.2 ROOTS 71
3.4.3 RefinedWeb 73
3.4.4 SlimPajama 75
3.5 實踐思考 79
第4章 分散式訓練 80
4.1 分散式訓練概述 80
4.2 分散式訓練的並行策略 83
4.2.1 資料並行 84
4.2.2 模型並行 88
4.2.3 混合並行 96
4.2.4 計算設備記憶體優化 97
4.3 分散式訓練的集群架構 102
4.3.1 高性能計算集群的典型硬體組成 102
4.3.2 參數伺服器架構 103
4.3.3 去中心化架構 104
4.4 DeepSpeed實踐 110
4.4.1 基礎概念 112
4.4.2 LLaMA分散式訓練實踐 115
4.5 實踐思考 127
第5章 有監督微調 128
5.1 提示學習和語境學習 128
5.1.1 提示學習 128
5.1.2 語境學習 130
5.2 高效模型微調 131
5.2.1 LoRA 131
5.2.2 LoRA的變體 135
5.3 模型上下文視窗擴展 137
5.3.1 具有外推能力的位置編碼 137
5.3.2 插值法 138
5.4 指令資料的構建 141
5.4.1 手動構建指令 141
5.4.2 自動構建指令 142
5.4.3 開源指令資料集 146
5.5 DeepSpeed-Chat SFT實踐 147
5.5.1 代碼結構 148
5.5.2 數據預處理 151
5.5.3 自訂模型 153
5.5.4 模型訓練 155
5.5.5 模型推理 156
5.6 實踐思考 157
第6章 強化學習 158
6.1 基於人類回饋的強化學習 158
6.1.1 強化學習概述 159
6.1.2 強化學習與有監督學習的區別 161
6.1.3 基於人類回饋的強化學習流程 162
6.2 獎勵模型 163
6.2.1 資料收集 164
6.2.2 模型訓練 166
6.2.3 開來源資料 167
6.3 近端策略優化 168
6.3.1 策略梯度 168
6.3.2 廣義優勢估計 173
6.3.3 近端策略優化演算法 175
6.4 MOSS-RLHF實踐 180
6.4.1 獎勵模型訓練 180
6.4.2 PPO微調 181
6.5 實踐思考 191
第7章 大語言模型應用 193
7.1 推理規劃 193
7.1.1 思維鏈提示 193
7.1.2 由少至多提示 196
7.2 綜合應用框架 197
7.2.1 LangChain框架核心模組 198
7.2.2 知識庫問答系統實踐 216
7.3 智慧代理 219
7.3.1 智慧代理的組成 219
7.3.2 智慧代理的應用實例 221
7.4 多模態大語言模型 228
7.4.1 模型架構 229
7.4.2 資料收集與訓練策略 232
7.4.3 多模態能力示例 236
7.5 大語言模型推理優化 238
7.5.1 FastServe框架 241
7.5.2 vLLM推理框架實踐 242
7.6 實踐思考 244
第8章 大語言模型評估 245
8.1 模型評估概述 245
8.2 大語言模型評估體系 247
8.2.1 知識與能力 247
8.2.2 倫理與安全 250
8.2.3 垂直領域評估 255
8.3 大語言模型評估方法 260
8.3.1 評估指標 260
8.3.2 評估方法 267
8.4 大語言模型評估實踐 274
8.4.1 基礎模型評估 274
8.4.2 SFT模型和RL模型評估 277
8.5 實踐思考 282
參考文獻 284
索引 303 |
|
| |
|
|
| |
|
|
| |
|
|
|
