预购商品
书目分类
特别推荐
本書介紹自然語言處理的原理和方法及其代碼實現,是一本著眼于自然語言處理教學實踐的圖書。 本書分為3個部分。第一部分介紹基礎技術,包括文本規範化、文本表示、文本分類、文本聚類。第二部分介紹自然語言的序列建模,包括語言模型、序列到序列模型、預訓練語言模型、序列標注。第三部分介紹自然語言的結構建模,包括成分句法分析、依存句法分析、語義分析、篇章分析。本書將自然語言處理的理論與實踐相結合,提供所介紹方法的代碼示例,能夠幫助讀者掌握理論知識並進行動手實踐。 本書適合作為高校自然語言處理課程的教材,也可作為相關行業的研究人員和開發人員的參考資料。
第1章初探自然語言處理1 1.1自然語言處理是什麼1 1.2自然語言處理的應用2 1.3自然語言處理的難點3 1.4自然語言處理的方法論4 1.5小結5 第一部分基礎 第2章文本規範化8 2.1分詞8 2.1.1基於空格與標點符號的分詞8 2.1.2基於正則表達式的分詞9 2.1.3詞間不含空格的語言的分詞12 2.1.4基於子詞的分詞13 2.2詞規範化17 2.2.1大小寫折疊17 2.2.2詞目還原18 2.2.3詞幹還原19 2.3分句19 2.4小結20 第3章文本表示22 3.1詞的表示22 3.2稀疏向量表示24 3.3稠密向量表示25 3.3.1word2vec25 3.3.2上下文相關詞嵌入30 3.4文檔表示30 3.4.1詞-文檔共現矩陣31 3.4.2TF-IDF加權31 3.4.3文檔的稠密向量表示33 3.5小結33 第4章文本分類35 4.1基於規則的文本分類35 4.2基於機器學習的文本分類36 4.2.1樸素貝葉斯36 4.2.2邏輯斯諦回歸42 4.3分類結果評價45 4.4小結47 第5章文本聚類49 5.1k均值聚類算法49 5.2基於高斯混合模型的優選期望值算法53 5.2.1高斯混合模型53 5.2.2優選期望值算法53 5.3無監督樸素貝葉斯模型57 5.4主題模型60 5.5小結61 第二部分序列 第6章語言模型64 6.1概述64 6.2n元語法模型66 6.3循環神經網絡67 6.3.1循環神經網絡67 6.3.2長短期記憶73 6.3.3多層雙向循環神經網絡76 6.4注意力機制80 多頭注意力83 6.5Transformer模型85 6.6小結91 第7章序列到序列模型93 7.1基於神經網絡的序列到序列模型93 7.1.1循環神經網絡94 7.1.2注意力機制96 7.1.3Transformer98 7.2學習101 7.3解碼106 7.3.1貪心解碼106 7.3.2束搜索解碼107 7.3.3其他解碼問題與解決技巧110 7.4指針網絡111 7.5序列到序列任務的延伸112 7.6小結113 第8章預訓練語言模型114 8.1ELMo:基於語言模型的上下文相關詞嵌入114 8.2BERT:基於Transformer的雙向編碼器表示115 8.2.1掩碼語言模型115 8.2.2BERT模型116 8.2.3預訓練116 8.2.4微調與提示117 8.2.5BERT代碼演示117 8.2.6BERT模型擴展121 8.3GPT:基於Transformer的生成式預訓練語言模型122 8.3.1GPT模型的歷史122 8.3.2GPT-2訓練演示123 8.3.3GPT的使用125 8.4基於編碼器-解碼器的預訓練語言模型128 8.5基於HuggingFace的預訓練語言模型使用129 8.5.1文本分類129 8.5.2文本生成130 8.5.3問答130 8.5.4文本摘要131 8.6小結131 第9章序列標注133 9.1序列標注任務133 9.1.1詞性標注133 9.1.2中文分詞134 9.1.3命名實體識別134 9.1.4語義角色標注135 9.2隱馬爾可夫模型135 9.2.1模型135 9.2.2解碼136 9.2.3輸入序列的邊際概率137 9.2.4單個標簽的邊際概率138 9.2.5監督學習139 9.2.6無監督學習139 9.2.7部分代碼實現141 9.3條件隨機場146 9.3.1模型146 9.3.2解碼147 9.3.3監督學習148 9.3.4無監督學習149 9.3.5部分代碼實現149 9.4神經序列標注模型154 9.4.1神經softmax154 9.4.2神經條件隨機場154 9.4.3代碼實現155 9.5小結156 第三部分結構 第10章成分句法分析160 10.1成分結構160 10.2成分句法分析概述161 10.2.1歧義性與打分161 10.2.2解碼162 10.2.3學習162 10.2.4評價指標163 10.3基於跨度的成分句法分析163 10.3.1打分164 10.3.2解碼165 10.3.3學習170 10.4基於轉移的成分句法分析173 10.4.1狀態與轉移173 10.4.2轉移的打分174 10.4.3解碼175 10.4.4學習176 10.5基於上下文無關文法的成分句法分析177 10.5.1上下文無關文法177 10.5.2解碼和學習178 10.6小結179 第11章依存句法分析181 11.1依存結構181 11.1.1投射性182 11.1.2與成分結構的關係182 11.2依存句法分析概述184 11.2.1打分、解碼和學習184 11.2.2評價指標184 11.3基於圖的依存句法分析185 11.3.1打分185 11.3.2解碼186 11.3.3Eisner算法186 11.3.4MST算法191 11.3.5高階方法194 11.3.6監督學習194 11.4基於轉移的依存句法分析195 11.4.1狀態與轉移196 11.4.2打分、解碼與學習196 11.5小結198 第12章語義分析200 12.1顯式和隱式的語義表示200 12.2詞義表示201 12.2.1WordNet201 12.2.2詞義消歧203 12.3語義表示204 12.3.1專用和通用的語義表示204 12.3.2一階邏輯205 12.3.3語義圖205 12.4語義分析206 12.4.1基於句法的語義分析206 12.4.2基於神經網絡的語義分析207 12.4.3弱監督學習209 12.5語義角色標注209 12.5.1語義角色標注標準209 12.5.2語義角色標注方法211 12.6信息提取211 12.7小結212 第13章篇章分析213 13.1篇章213 13.1.1連貫性關係213 13.1.2篇章結構214 13.1.3篇章分析215 13.2共指消解215 13.2.1提及檢測216 13.2.2提及聚類216 13.3小結220 總結與展望221 參考文獻223 中英文術語對照表228 附錄234
屠可偉,上海科技大學信息科學與技術學院長聘副教授、研究員、博士生導師。研究方向包括自然語言處理、機器學習等,主要研究將符號、統計和神經方法相結合用於語言結構的表示、學習與利用。發表論文100餘篇,主要發表在ACL、EMNLP、AAAI 等人工智能領域很好會議。擔任多個很好會議程序委員會委員和領域主席。曾獲ACL 2023傑出論文獎,以及SemEval 2022和SemEval 2023很好系統論文獎。 王新宇,上海科技大學博士,長期從事自然語言處理研究工作,在ACL、EMNLP、NAACL等很好會議上發表論文10餘篇,擔任ACL、NAACL會議的領域主席以及ACL滾動審查(ACL Rolling Review)執行編輯。曾獲得中國中文信息學會優秀博士學位論文提名、SemEval 2022很好系統論文獎等榮譽。 曲彥儒,伊利諾伊大學厄巴納-香檳分校博士生,長期從事自然語言處理研究工作,在ACL、NAACL、AAAI、ICLR等會議上發表了多篇論文。 俞勇,上海交通大學ACM班創辦人,重量教學名師,上海交通大學特聘教授。2018年創辦伯禹人工智能學院,在上海交通大學ACM班人工智能專業課程體系的基礎上,對人工智能課程體系進行創新,致力於培養很好的人工智能算法工程師和研究員。
客服公告
热门活动
订阅电子报