NLG的王者GPT圖解：LLM的原來是這樣建構出來的


	★NLP始祖N-Gram，Bag-of-Words詳細說明介紹實作　　☆進入神經網路時代的Word2Vec、NPLM、RNN詳解及實作　　★序列至序列的神器Seq2Seq詳解及實作　　☆抓住字與字之間的關鍵Attention Mechanism詳解及實作　　★成為大神的Transformer詳解及實作　　☆第一個通用語言模型BERT詳解及實作　　★生成式語言模型GPT詳解及實作　　☆ChatGPT應用詳解及實作　　★最新一代GPT-4詳解及實作　　全書從最基本的N-Gram 和簡單文字表示Bag-of-Words開始說明NLP的應用，接著進入NLP領域中最重要的隱空間表示法Word2Vec，正式進入了多維向量Embedding表示語義的年代。之後接連介紹了神經網路表示法RNN，以及將encoder及decoder連接的Seq2seq。本書最大的特色就是花了很大的篇幅介紹了注意力機制，詳解了大家最想不通的QKV查詢。在了解了注意力機制之後，就進入最重要的成神Transformer階段，並且帶有說明及完整的實作。最重要的Transformer解決之後，接下來就是強大應用的展現，包括了NLU的BERT說明及實作，以及現今AI基本GPT(屬於NLG)的自迴歸模型。本書也實作了自己使用維基文字生成的GPT模型，讓讀者一探AI一路走來的技術堆疊。最後一章更把目前當紅的ChatGPT所使用的RHLF技術完整走一遍，也使用了OpenAI的API來完成實作。


	目錄序章看似尋常最崎崛，成如容易卻艱辛 GPT-4：點亮通用人工智慧的火花人工智慧演進之路：神經網路兩落三起現代自然語言處理：從規則到統計何為語言？資訊又如何傳播？ NLP 是人類和電腦溝通的橋樑 NLP 技術的演進史大規模預訓練語言模型：BERT 與GPT 爭鋒語言模型的誕生和進化統計語言模型的發展歷程基於Transformer 架構的預訓練模型 " 預訓練+ 微調大模型" 的模式以提示/ 指令模式直接使用大模型從初代GPT 到ChatGPT，再到GPT-4 GPT 作為生成式模型的天然優勢 ChatGPT 背後的推手——OpenAI 從初代GPT 到ChatGPT，再到GPT-4 的進化史第 1 課高樓萬丈平地起：語言模型的雛形 N-Gram 和簡單文字表示 Bag-of-Words 1.1 N-Gram 模型 1.2 " 詞" 是什麼，如何" 分詞" 1.3 建立一個Bigram 字元預測模型 1.4 詞袋模型 1.5 用詞袋模型計算文字相似度小結思考第 2 課問君文字何所似：詞的向量表示 Word2Vec 和 Embedding 2.1 詞向量 ≈ 詞嵌入 2.2 Word2Vec：CBOW 模型和Skip-Gram 模型 2.3 Skip-Gram 模型的程式實現 2.4 CBOW 模型的程式實現 2.5 透過nn.Embedding 來實現詞嵌入小結思考第 3 課山重水盡疑無路：神經機率語言模型和循環神經網路 3.1 NPLM 的起源 3.2 NPLM 的實現 3.3 循環神經網路的結構 3.4 循環神經網路實戰小結思考第 4 課柳暗花明又一村：Seq2Seq 編碼器 - 解碼器架構 4.1 Seq2Seq 架構 4.2 建構簡單Seq2Seq 架構小結第 5 課見微知著開慧眼：引入注意力機制 5.1 點積注意力 5.2 縮放點積注意力 5.3 編碼器- 解碼器注意力 5.4 注意力機制中的 Q、K、V 5.5 自注意力 5.6 多頭自注意力 5.7 注意力遮罩 5.8 其他類型的注意力小結思考第 6 課層巒疊翠上青天：架設 GPT 核心元件 Transformer 6.1 Transformer 架構剖析 6.1.1 編碼器- 解碼器架構 6.1.2 各種注意力的應用 6.1.3 編碼器的輸入和位置編碼 6.1.4 編碼器的內部結構 6.1.5 編碼器的輸出和編碼器- 解碼器的連接 6.1.6 解碼器的輸入和位置編碼 6.1.7 解碼器的內部結構 6.1.8 解碼器的輸出和Transformer 的輸出頭 6.2 Transformer 程式實現 6.3 完成翻譯任務 6.3.1 資料準備 6.3.2 訓練Transformer 模型 6.3.3 測試Transformer 模型小結思考第 7 課芳林新葉催陳葉：訓練出你的簡版生成式 GPT 7.1 BERT 與GPT 爭鋒 7.2 GPT：生成式自回歸模型 7.3 建構GPT 模型並完成文字生成任務 7.3.1 架設GPT 模型（解碼器） 7.3.2 建構文字生成任務的資料集 7.3.3 訓練過程中的自回歸 7.3.4 文字生成中的自回歸（貪婪搜索） 7.4 使用WikiText2 資料集訓練Wiki-GPT 模型 7.4.1 用WikiText2 建構Dataset 和DataLoader 7.4.2 用DataLoader 提供的資料進行訓練 7.4.3 用Evaluation Dataset 評估訓練過程小結思考第 8 課流水後波推前波：ChatGPT 基於人類回饋的強化學習 8.1 從GPT 到ChatGPT 8.2 在Wiki-GPT 基礎上訓練自己的簡版ChatGPT 8.3 用Hugging Face 預訓練GPT 微調ChatGPT 8.4 ChatGPT 的RLHF 實戰 8.4.1 強化學習基礎知識 8.4.2 簡單RLHF 實戰小結思考第 9 課生生不息的循環：使用強大的 GPT-4 API 9.1 強大的OpenAI API 9.2 使用GPT-4 API 小結思考後記莫等閒，白了少年頭