精通Transformer：從零開始構建最先進的NLP模型

AI領域的基石王者，那些還沉迷於CNN，RNN的工程師被警告：放棄戰鬥吧，向Transformer投降！

在過去的二十年中，自然語言處理研究領域發生了翻天覆地的變化。在這段時間裡，自然語 言處理經歷了不同的處理範式，並終進入了一個由神奇的Transformer體系結構主導的新時代。 Transformer深度學習架構是通過繼承許多方法而產生的，其中包括上下文詞嵌入、多頭注意力機制、位置編碼、並行體系結構、模型壓縮、遷移學習、跨語言模型等。在各種基於神經的自然語言處理方法中， Transformer架構逐漸演變為基於注意力的“編碼器-解碼器”體系結構，並持續發展到今天。現在，我們在文獻中看到了這種體系結構的新的成功變體。目前研究已經發現了只使用 Transformer 架構中編碼器部分的出色模型，如 BERT(Bidirectional Encoder Representations from Transformers，Transformers雙向編碼表示);或者只使用Transformer架構 中解碼器部分的出色模型，如 GPT(Generated Pre -trained Transformer，生成式的預訓練 Transformer)。

本書涵蓋了這些自然語言處理方法。基於 Hugging Face社區的Transformer庫，我們能夠輕 松地使用Transformer。 本書將循序漸進地提供各種自然語言處理問題的解決方案：從文檔摘要到問 題回答系統。我們將看到，基於Transformer， 可以取得的成果。

Transformer到底是什麼，讓ChatGPT如此迷戀？
這只變形金剛，到底是只什麼怪獸？
——用於自然語言處理（NLP）的神經網路架構

第1章 從詞袋到Transformer。本章簡要介紹了自然語言處理的歷史，並將傳統方法、深度學習模型(如CNIN、RNN 和LSTM) 與Transformer模型進行了比較分析。

第2章 Transformer的實踐操作入門。本章深入探討了如何使用Transformer模型，並通過實際例子闡述了分詞器和模型，如BERT。

第3章 自編碼語言模型。本章討論了如何從零開始在任何給定語言上訓練自編碼語言模型。訓練過程將包括模型的預訓練和特定任務的訓練。

第4章 自回歸和其他語言模型。本章討論了自回歸語言模型的理論細節，並引導讀者如何在自己的語料庫中對模型進行預訓練。讀者將學習如何在自己的文本上預訓練任何語言模型(如GPT- 2),並在各種任務(如語言生成)中使用該模型。

第5章 微調文本分類語言模型。在本章中，讀者將學習如何配置文本分類的預訓練模型，以及如何微調文本分類下游任務的模型(如情感分析或多類別分類)。

第6章 微調標記分類語言模型。本章講述如何微調標記分類任務的語言模型[如命名實體識別 (NER)、詞性標注 (POS)和問題回答 (QA)系統]。

第7章 文本表示。在本章中，讀者將學習文本表示技術以及如何有效地利用Transformer 體系結構，特別是對於無監督任務，如聚類、語義搜索和主題建模。

第8章 使用高效的Transformer。 本章展示了如何使用提煉、剪枝和量化方法，從預訓練模型中 生成高效的模型。然後，讀者將獲得有關高效稀疏Transformer的知識，如Linformer 和 BigBird，以及如何使用這些模型。

第9章 跨語言和多語言建模。在本章中，讀者將學習多語言和跨語種語言模型預訓練以及單語言和多語言預訓練之間的差異。本章涉及的其他主題包括因果語言建模和翻譯語言建模。

第10章 部署 Transformer 模型。本章將詳細介紹如何在 CPU/GPU環境中，為基於 Transformer的自然語言處理解決方案提供服務。本章還將描述如何使用 TensorFlow 擴展 (TFX) 部署機器學習系統。

第11章 注意力視覺化與實驗跟蹤。本章涵蓋兩個不同的技術概念：注意力視覺化與實驗跟蹤。我們將使用諸如exBERT 和 BertViz之類的複雜工具進行實驗練習。

薩瓦斯 ·伊爾蒂利姆 (Savas Yldmnm)

畢業于伊斯坦布爾技術大學電腦工程系，擁有自然 語言處理 (Natural Language Processing,NLP)專業的博士學位。目前，他是土耳其伊斯坦布爾比爾基大學的副教授，也是加拿大瑞爾森大學的訪問研究員。他是一位積極熱情的講師和研究員，具有20多年教授機器學習、深度學習和自然語言處理等課程的豐富經驗。他開發了大量的開源軟體和資源，為土耳其自然語言理解社區做出了重大貢獻。他還為人工智慧公司的研究開發專案提供全面的諮詢服務。