揭秘大模型：從原理到實戰

第1章 大模型簡介
1.1 大模型初探
1.1.1 OpenAl大模型ChatGPT
1.1.2 國內大模型——360智腦
1.2 大模型的概念
1.3 百花齊放——大模型發展現狀
1.4 壓縮即智能——為什麼ChatGPT擁有智能
1.4.1 直觀理解通用人工智能
1.4.2 如何實現無損壓縮
1.4.3 GPT是對數據的無損壓縮
1.5 小結
1.6 參考文獻

第2章 大模型理論基礎
2.1 什麼是語言模型
2.2 傳統語言模型
2.2.1 循環神經網絡(RNN)
2.2.2 長短期記憶(LSTM)網絡
2.2.3 門控循環單元(GRU)
2.3 大模型基礎結構——Transformer
2.3.1 Transformer的模型結構
2.3.2 Transformer輸入表示
2.3.3 多頭注意力
2.3.4 編碼器結構
2.3.5 解碼器結構
2.3.6 Softmax輸出
2.4 Transformer應用實踐——機器翻譯
2.4.1 葡萄牙文翻譯為英文
2.4.2 英文翻譯為中文
2.5 小結
2.6 參考文獻
第3章 OpenAI GPT系列大模型
3.1 GPT發展歷史——從GPT-1到GPT-4
……
第4章 清華大學通用預訓練模型——GLM
第5章 Meta開源大模型——Llama
第6章 大模型參數高效微調
第7章 大模型指令微調
第8章 大模型訓練優化
第9章 大模型推理優化
第10章 AIGC和大模型結合
第11章 大模型和系統結合
第12章 構建私有大模型

文亮，碩士畢業於電子科技大學，奇虎360智腦團隊資深算法專家，參與過千億參數級別大模型的訓練與優化，擁有超過8年的人工智能模型優化經驗，目前主要負責大模型后訓練、COT優化以及通用技能優化等工作，著有《推薦系統技術原理與實踐》一書。

江維，電子科技大學教授、博士生導師，主要研究可信人工智能、安全關鍵嵌入式系統、移動智能、大數據加速等領域，發表相關高水平論文100余篇。