GPT4會你也會：共融機器人的多模態互動式情感分析


	本書共有六篇　　第一篇　　第1章到第3章介紹了多模態情感分析相關研究概述、多模態機器學習以及多工學習機制在不同領域的應用。　　第二篇　　介紹了多模態情感分析的資料集和前置處理方法，包括資料集簡介和基於主動學習的自動標定方法。　　第三篇　　討論了以文字、語音和人臉為基礎的單模態情感分析方法。　　第四篇　　介紹了跨模態資訊的情感分析，包括跨模態特徵表示、多層次資訊互補的融合方法、生成式多工網路的情緒辨識方法以及面向對齊和非對齊序列的跨模態情感分類方法。　　第五篇　　討論了多模態資訊的情感分析，包括基於多工學習和自監督學習的多模態情感分析模型，以及基於交叉模組和變數相關性的多工學習方法。　　第六篇　　介紹了多視角學習和遷移學習為基礎的多模態情感分析模型，並介紹了基於生成對抗網絡的情感分析模型。以上總結了各章節的概述和主要內容。　　深入探討了智慧服務機器人領域中的共融機器人，即機器人與人、機器人與環境、機器人之間自然互動共融的應用。機器人與人之間的自然互動能力是關鍵技術之一，包括人機對話、多模態情感感知和人機協作。要具備情感感知能力，機器人必須具備多模態情感辨識能力，並針對多模態情感資訊的特徵表示、特徵融合和情感分類進行研究。本書內容包括了深度學習模型的人臉情感特徵辨識、多模態情感資訊的學習表示和多模態情感特徵的融合，是智慧型機器人自然互動、自然語言處理和人機互動等領域的重要參考。


	目錄第一篇概述第1章多模態情感分析概述 1.1多模態情感分析相關研究概述 1.2模態缺失相關研究概述 1.3本章小結第2章多模態機器學習概述 2.1多模態表示學習概述 2.2多模態表示融合概述 2.3本章小結第3章多工學習機制概述 3.1在電腦視覺中的多工架構 3.2在自然語言處理中的多工架構 3.3在多模態學習中的多工架構 3.4本章小結第二篇多模態情感分析資料集與前置處理第4章多模態情感分析資料集簡介 4.1CMU-MOSI 4.2CMU-MOSEI 4.3IEMOCAP 4.4MELD 4.5本章小結第5章多模態多標籤情感分析資料集建構 5.1概述 5.2多模態多標籤的中文情感分析資料集製作 5.3本章小結第6章以主動學習為基礎的多模態情感分析資料的自動標定 6.1相關工作 6.2研究方法 6.3實驗設定 6.4結果分析 6.5本章小結第三篇單模態資訊的情感分析第7章以文字為基礎的情感分析 7.1以情感詞典為基礎的情感分析方法 7.2以深度學習為基礎的情感分析方法 7.3本章小結第8章以語音資訊為基礎的情感分析 8.1以Constant-Q色譜圖為基礎的音訊情感分類 8.2以異質特徵融合為基礎的音訊情感分類 8.3本章小結第9章以人臉關鍵點為基礎的圖片情感分析 9.1 CMCNN 9.2實驗設定 9.3實驗結果和分析 9.4本章小結第四篇跨模態資訊的情感分析第10章跨模態特徵表示方法 10.1文字模態特徵表示方法 10.2音訊模態特徵表示方法 10.3實驗與分析 10.4不足和展望 10.5本章小結第11章以多層次資訊互補為基礎的融合方法 11.1方法 11.2實驗與分析 11.3不足與展望 11.4本章小結第12章生成式多工網路的情緒辨識 12.1方法 12.2實驗與分析 12.3不足與展望 12.4本章小結第13章面向非對齊序列的跨模態情感分類 13.1 SA-FRLM 13.2實驗與分析 13.3不足與展望 13.4本章小結第14章面向對齊序列的跨模態情感分類 14.1問題定義 14.2音訊特徵取出與對齊 14.3 CM-BERT模型 14.4實驗與分析 14.5不足與展望 14.6本章小結第五篇多模態資訊的情感分析第15章以多工學習為基礎的多模態情感分析模型 15.1以多工學習為基礎的多模態情感分析模型概述 15.2實驗設定和結果分析 15.3本章小結第16章以自監督學習為基礎的多工多模態情感分析模型 16.1以自監督學習為基礎的單模態偽標籤生成模型 16.2實驗設定和結果分析 16.3本章小結第17章以交叉模組和變數相關性為基礎的多工學習 17.1概述 17.2權值共用層框架 17.3多工學習層框架 17.4多工學習演算法實驗 17.5本章小結第18章以互斥損失函數為基礎的多工機制研究 18.1概述 18.2常用損失函數 18.3以多工機制為基礎的互斥損失函數 18.4損失函數策略對比實驗 18.5本章小結第19章以多工多模態演算法為基礎的遷移學習探究 19.1概述 19.2遷移學習概述 19.3遷移資料集 19.4遷移實驗 19.5本章小結第20章以模態缺失為基礎的多模態情感分析方法 20.1任務定義 20.2處理資料缺失方法概述 20.3模型的框架結構 20.4實驗 20.5實驗分析 20.6本章小結第六篇多模態情感分析平臺及應用第21章多模態情感分析實驗平臺簡介 21.1概述 21.2平臺概覽 21.3資料端 21.4模型端 21.5分析端 21.6實驗評價 21.7本章小結第22章擴充應用：以多模態臨床特徵表示與融合為基礎的點對點中醫體質評價系統 22.1概述 22.2中醫體質評價系統 22.3方法 22.4實驗 22.5本章小結參考文獻附錄A中英文縮寫對照表237