预购商品
书目分类
特别推荐
前言 第1章 語言模型簡介 1 1.1 傳統語言模型 2 1.1.1 n-gram語言模型 2 1.1.2 神經網絡語言模型 5 1.1.3 傳統語言模型的應用 7 1.2 大語言模型 8 1.2.1 大模型的發展歷程 9 1.2.2 訓練大模型的挑戰 11 1.2.3 大模型的應用 12 1.3 大模型實例 14 1.3.1 基座模型實例 15 1.3.2 對齊模型實例 16 1.4 小結 18 第2章 大模型網絡結構 19 2.1 Seq2Seq結構 19 2.2 注意力機制 21 2.3 Transformer架構 22 2.3.1 Transformer模型結構 23 2.3.2 編碼器單元 24 2.3.3 解碼器單元 26 2.3.4 位置編碼 27 2.4 詞元化 29 2.4.1 BPE 30 2.4.2 字節級BPE 32 2.4.3 WordPiece 32 2.4.4 Unigram語言模型 33 2.4.5 SentencePiece 34 2.5 解碼策略 34 2.5.1 貪心搜索 35 2.5.2 集束搜索 35 2.5.3 Top-k採樣 36 2.5.4 核採樣 38 2.5.5 溫度採樣 39 2.6 小結 41 第3章 大模型學習範式的演進 43 3.1 預訓練與微調的原理和典型模型 44 3.1.1 預訓練與微調 44 3.1.2 三個典型模型 46 3.2 多任務學習的原理和典型模型 51 3.2.1 多任務學習 52 3.2.2 兩個典型模型 53 3.3 大規模模型的能力 55 3.3.1 少樣本學習 55 3.3.2 提示學習 57 3.3.3 上下文學習 59 3.4 小結 61 第4章 大模型對齊訓練 63 4.1 對齊 63 4.1.1 對齊的定義 63 4.1.2 對齊的衡量指標 65 4.2 基於人類反饋的強化學習 67 4.2.1 監督微調的原理 68 4.2.2 訓練獎勵模型的原理 71 4.2.3 強化學習的原理 73 4.3 基於AI反饋的強化學習 77 4.4 直接偏好優化 79 4.5 超級對齊 80 4.6 小結 80 第5章 大模型評測與數據集 83 5.1 大模型評測方法 83 5.1.1 人工評測 84 5.1.2 自動評測 85 5.2 大模型評測指標 86 5.2.1 準確率、精確率、召回率與F1分數 86 5.2.2 困惑度 88 5.2.3 BLEU與ROUGE 90 5.2.4 pass@k 92 5.3 大模型能力評測基準 92 5.3.1 MMLU 93 5.3.2 GSM8K 94 5.3.3 C-Eval 95 5.3.4 HumanEval 97 5.4 數據集及預處理方法 98 5.4.1 預訓練數據集 98 5.4.2 指令微調數據集 102 5.4.3 人工反饋數據集 105 5.4.4 數據預處理方法 106 5.5 小結 107 第6章 分布式訓練與內存優化 109 6.1 大模型擴展法則 110 6.2 分布式訓練策略 112 6.2.1 數據並行 113 6.2.2 張量並行 113 6.2.3 流水線並行 114 6.2.4 混合並行 116 6.3 大模型訓練中的不穩定現象 116 6.4 分布式訓練集群架構 117 6.4.1 中心化架構:參數服務器 118 6.4.2 去中心化架構:集合 通信 119 6.5 內存優化策略 127 6.5.1 混合精度訓練 127 6.5.2 梯度檢查點 131 6.5.3 梯度累積 132 6.5.4 FlashAttention 134 6.6 分布式訓練框架 135 6.7 小結 137 第7章 大模型的垂直場景適配方案 139 7.1 從零開始訓練新模型 140 7.2 全量參數微調 140 7.3 低參數量微調 142 7.3.1 適配器方法 142 7.3.2 提示詞微調 144 7.3.3 前綴微調 146 7.3.4 LoRA 147 7.4 超低參數量微調的探索 149 7.5 小結 150 第8章 知識融合與工具使用 151 8.1 知識融合 152 8.1.1 檢索增強生成 152 8.1.2 解碼器融合 154 8.1.3 提示融合 156 8.2 工具使用 157 8.2.1 WebGPT 157 8.2.2 LaMDA 162 8.2.3 Toolformer 164 8.3 自主智能體 170 8.3.1 自主智能體的組件 172 8.3.2 自主智能體的工作流程 173 8.4 小結 174 第9章 大模型的進階優化 175 9.1 模型小型化 175 9.1.1 模型量化 176 9.1.2 知識蒸餾 179 9.1.3 參數剪枝 182 9.2 推理能力及其延伸 184 9.2.1 思維鏈 185 9.2.2 零樣本思維鏈 188 9.2.3 最少到最多提示 190 9.2.4 ReAct:推理能力 行動能力 191 9.3 代碼生成 193 9.3.1 Codex 194 9.3.2 代碼生成的要素 197 9.4 多模態大模型 198 9.4.1 BEiT-3 199 9.4.2 CLIP 202 9.4.3 Flamingo 204 9.4.4 MiniGPT-4 207 9.5 高質量數據的作用與構建 208 9.5.1 LIMA 209 9.5.2 教科書級數據 212 9.6 模型能力“湧現”的原因 216 9.7 小結 220 第10 章 大模型的局限性與未來發展方向221 10.1 大模型的局限性222 10.1.1 事實性錯誤222 10.1.2 理解和推理缺陷223 10.1.3 知識更新問題224 10.1.4 安全性問題224 10.1.5 計算資源限制225 10.2 大模型的未來發展方向226 10.2.1 更強的記憶:從通用到個性化226 10.2.2 裝上“手腳”:賦予模型使用工具的能力228 10.2.3 多模態交互:穿越文本的邊界229 10.3 小結230 參考文獻231
蘇之陽,博士,畢業于香港科技大學,現任小冰公司研發總監,專注于自然語言處理產品的研發工作。他主導了小冰框架、小冰智能評論和XEva等項目的架構設計和開發,特別是在大語言模型的研發與應用方面具有豐富的經驗。他曾任微軟公司資深研發工程師,並在國際學術會議和期刊上發表多篇高水平學術論文。他的研究興趣涵蓋自然語言處理、深度學習以及雲計算等領域。 王錦鵬,博士,致力於自然語言處理和推薦系統的研發,擁有在微軟亞洲研究院等科技公司擔任關鍵技術崗位的經驗,參與了Office文檔預訓練、推薦大模型等多個重要項目的研發和優化工作。在國際會議和學術期刊上發表了逾30篇高質量論文,並在ACL、EMNLP、AAAI等頂級會議中擔任審稿人。 姜迪,博士,擁有十餘年工業界研發和管理經驗,在雅虎、百度等知名互聯網企業工作期間,為企業的多個關鍵業務研發了核心解決方案。在自然語言處理和數據挖掘領域的會議和期刊上發表了數十篇論文並出版了多部學術專著,獲得了多個最佳論文獎和CCF獎項,還在IJCAI、WWW、AAAI、CIKM、COLING等多個會議擔任委員會成員。 宋元峰,博士,曾就職於百度、騰訊等互聯網公司,在人工智能產品開發領域擁有豐富的經驗,研究涉及自然語言處理、數據挖掘與可視化等方向,並在KDD、ICDM等國際學術會議和期刊上發表多篇論文。
客服公告
热门活动
订阅电子报