GPT就是這麼來的：最新自然語言處理技術詳解

　　●    NLP專用Python開發環境架設
　　●    自然語言處理的發展歷程
　　●    無監督學習的原理與應用及實作
　　●    Pretraing的完整實作
　　●    文字分類、機器閱讀理解、命名實體辨識
　　●    ChatGPT的原理 - 文字生成
　　●    損失函式與模型瘦身

　　大型語言模型已經成為現代AI的範式，不管是ChatGPT或是llama、Falcon等，這個新興學科是人工智慧時代最熱門的話題，沒有一個有志於AI的人可以忽略這個趨勢。而大型語言模型的基礎，當然就是自然語言處理（Natural Language Processing，簡稱NLP）。自然語言處理主要工作包括了語言理解、語言生成、機器翻譯、語音識別等。目前見的應用非常多，包括了自動化客服、垃圾郵件檢測、社交媒體情感分析、醫療記錄分析、金融預測和新聞摘要等。

　　總結來說，自然語言處理是一個動態且充滿潛力的領域，它正在不斷改變我們與計算機和數字訊息互動的方式。隨著技術的不斷發展，我們可以期待在更多領域看到 NLP 的創新應用，同時也需要持續關注與其發展相關的倫理和社會問題。本書最重要目的就是將你帶入這個行業，如果你是程式設計師，網頁設計師，又或者是App的開發者，如果不想被人工智慧搶掉工作，加入是最好的選擇。

第1 章 導論
1.1 基於深度學習的自然語言處理
1.2 本書章節脈絡
1.3 自然語言處理演算法流程
1.4 小結

第2 章 Python 開發環境配置
2.1 Linux 伺服器
2.2 Python 虛擬環境
2.3 PyCharm 遠端連接伺服器
2.4 screen 任務管理
2.5 Docker 技術
2.6 小結

第3 章 自然語言處理的發展處理程序
3.1 人工規則與自然語言處理
3.2 機器學習與自熱語言處理
3.3 深度學習與自然語言處理
3.4 小結

第4 章 無監督學習的原理與應用
4.1 淺層無監督預訓練模型
4.2 深層無監督預訓練模型
4.3 其他預訓練模型
4.4 自然語言處理四大下游任務
4.5 小結

第5 章 無監督學習進階
5.1 生成式對抗網路
5.2 元學習
5.3 小結

第6 章 預訓練
6.1 賽題任務
6.2 環境架設
6.3 程式框架
6.4 資料分析實踐
6.5 小結

第7 章 文字分類
7.1 資料分析
7.2 環境架設
7.3 程式框架
7.4 文字分類實踐
7.5 小結

第8 章 機器閱讀理解
8.1 機器閱讀理解的定義
8.2 評測方法
8.3 研究方法
8.4 經典結構
8.5 多文件機器閱讀理解實踐
8.6 小結

第9 章 命名實體辨識
9.1 NER 技術的發展現狀
9.2 命名實體辨識的定義
9.3 命名實體辨識模型
9.4 命名實體辨識實驗
9.5 小結

第10 章 文字生成
10.1 文字生成的發展現狀
10.2 基於預訓練模型的文字生成模型
10.3 文字生成任務實踐
10.4 小結

第11 章 損失函式與模型瘦身
11.1 損失函式
11.2 常用的損失函式
11.3 損失函式的進階
11.4 模型瘦身
11.5 小結

 

作者簡介



王志立

　　自然語言處理工程師，曾在國際與國內的學術會議上發表學術論文多篇，先後在騰訊等多家知名企業從事大數據與人工智慧演算法工作，運作與分享人工智慧相關知識，曾獲多項人工智慧比賽國家級獎項。

雷鵬斌

　　華為AI演算法工程師，主要從事chatops、知識圖譜的研究與實踐工作，對自然語言處理各項任務有深入的研究。2019－2021年在國內知名競賽的文本分類、命名實體辨識、機器閱讀理解、智慧問答，以及文本生成任務中摘獲大量榮譽。曾參與多項課題研究，在AAAI、《中文資訊學報》等高影響力期刊上發表多篇論文。

吳宇凡

　　騰訊演算法應用研究員，長期從事業務安全與金融量化相關演算法研究與實務工作，已在國際頂尖期刊發表多篇論文，申請專利數項。