與AI對話：ChatGPT提示工程揭秘

本書以獨特的角度，深入淺出地介紹 ChatGPT、提示工程及自然語言處理等相關技術。在 內容上，本書科普性與專業性並重，既為普通讀者提供基礎知識，又有對專業領域的深入探討。
 
本書通過 7 章的內容，在全面介紹 ChatGPT 內部原理的基礎上，重點解析提示指令的構建方法， 以及如何針對各類任務構建合適的提示指令，為廣大讀者提供實戰經驗和指導。
 
本書適合對 ChatGPT 充滿好奇心的所有讀者，不僅可以滿足他們探尋 ChatGPT 內部原理 的需求，還能讓他們瞭解如何將其運用於實際工作中。此外，對於有志成為提示工程師的讀者， 本書提供一條從新手到專家的成長之路，幫助他們打開新的職業發展大門。

第1部分 基礎知識
1 ChatGPT：開啟人工智慧的新時代 2
1.1 ChatGPT是什麼 2
1.2 ChatGPT的歷史 4
1.2.1 GPT-1：預訓練加微調 4
1.2.2 GPT-2：更大更強 5
1.2.3 GPT-3：能力湧現 7
1.2.4 ChatGPT：與AI對話 10
1.2.5 GPT-4：多模態 12
1.3 ChatGPT的應用場景 14
1.4 ChatGPT的局限性 17

2 從網頁到API：手把手教你使用ChatGPT 20
2.1 使用官方網站與ChatGPT進行交互 20
2.2 用API的方式訪問ChatGPT 27
2.3 使用ChatGPT的其他方式 30

3 演進之路：從語言模型到提示工程 37
3.1 什麼是語言模型 38
3.2 語言模型的發展歷程 40
3.2.1 20世紀50年代之前：雛形初現 40
3.2.2 20世紀的後五十年：由興到衰 41
3.2.3 21世紀：新時代 42
3.3 Transformer模型的結構和原理 47
3.3.1 注意力機制 47
3.3.2 自注意力機制 48
3.3.3 位置資訊 49
3.3.4 縮放點乘注意力 49
3.3.5 多頭自注意力 50
3.3.6 多層自注意力 51
3.3.7 交叉注意力 51
3.3.8 完整的Transformer模型 52
3.4 語言模型的訓練 53
3.4.1 自回歸訓練 54
3.4.2 基於人工回饋的強化學習 57
3.5 提示工程 61
3.5.1 提示工程是什麼 61
3.5.2 設計良好提示的常見技巧 63
3.5.3 提示工程的重要性 70

第2部分 提示工程
4 人人都能用AI：構建提示指令，化解各類難題 74
4.1 難題已攻克：AI助你跨越語言的障礙 74
4.2 不只是糾錯：AI讓語言表達更精准 80
4.3 文學創作新思路：人機協作讓作品更具靈感 85
4.4 新聞報導加速器：從收集素材到成稿只需幾秒 97
4.5 一問即答：AI讓資訊獲取更簡單 103
4.6 專家意見何處尋：AI扮演領域專家角色為你答疑解惑 108
4.7 決策神器：如何讓AI給出明確回答，助你做決定 118
4.8 邏輯驅動的能力提升：數學和程式設計是一回事兒 122

5 從新手到專家：普通人如何成為提示工程師 131
5.1 詞法和句法分析 132
5.1.1 中文分詞 133
5.1.2 命名實體 135
5.1.3 詞性標注 137
5.1.4 依存句法分析 139
5.1.5 總結 144
5.2 信息抽取 145
5.2.1 關鍵字提取 145
5.2.2 實體關係抽取 150
5.2.3 結構化事件抽取 153
5.2.4 總結 156
5.3 分類與聚類 157
5.3.1 文本分類 157
5.3.2 情感分析 160
5.3.3 文本聚類 164
5.3.4 總結 172
5.4 理解和問答 172
5.4.1 常識知識問答 172
5.4.2 閱讀理解問答 176
5.4.3 問題理解和意圖識別 181
5.4.4 總結 188
5.5 受控文本生成 189
5.5.1 文本摘要 189
5.5.2 文本複述 194
5.5.3 資料到文本的生成 199
5.5.4 總結 206
5.6 謠言和不實資訊檢測 206

第3部分 延伸討論
6 狂歡將至：國產“ChatGPT”接踵而來 216
6.1 元語智能：ChatYuan 216
6.2 復旦大學：MOSS 218
6.3 百度：文心一言 219
6.4 清華大學：ChatGLM 221
6.5 其他 223

7 道阻且長：“ChatGPT”們的缺陷與局限 224
7.1 幻覺：一柄雙刃劍 224
7.2 毒性：一個社會問題 231
7.3 記憶：短期的更困難 231
7.4 多模態：到底有什麼用 234

參考文獻 242

陳崢，電子科技大學資訊與軟體工程學院副教授、自然語言處理實驗室負責人，中文資訊學委自然語言生成與智慧寫作專委會委員。在資訊抽取、文本摘要、機器翻譯、機器問答、文本寫作、多模態內容生成等領域具有豐富的科研和實踐經驗。于中國科學院成都電腦應用研究所獲得博士學位，先後在田納西大學、亞利桑那州立大學從事訪學研究，發表過20餘篇論文，擁有10余項專利，曾主持包括國家自然科學基金在內的多個科研項目。