視頻行為分析與情感計算

第1章　緒論　1　
1.1　引言　1　
1.2　視頻行為分析　1　
1.3　視頻情感計算　3　

第2章　光流計算　4　
2.1　概述　4　
2.2　光流數據集　6　
2.2.1　Yosemite數據集　6　
2.2.2　Middlebury數據集　6　
2.2.3　Sintel數據集.6　
2.2.4　KITTI數據集　8　
2.2.5　FlyingChairs數據集　8　
2.2.6　FlyingThings3D數據集　9　
2.2.7　Monkaa數據集　10　
2.2.8　Driving數據集　10　
2.3　光流計算性能指標　11　
2.4　光流計算挑戰　12　
2.5　傳統光流計算方法　12　
2.5.1　基於梯度的光流計算方法　12　
2.5.2　基於匹配的光流計算方法　14　
2.6　基於深度學習的光流計算方法　16　
2.6.1　編碼器-解碼器結構　16　
2.6.2　基於有監督學習的光流計算方法　16　
2.6.3　基於無監督學習的光流計算方法　26　
2.7　光流計算方法性能對比分析　29　
2.8　光流的應用　33　

第3章　視頻行為識別　36　
3.1　概述　36　
3.2　視頻行為識別數據集　37　
3.2.1　KTH數據集　38
3.2.2　Weizmann數據集　39　
3.2.3　IXMAS數據集　39　
3.2.4　UIUC數據集　39　
3.2.5　Hollywood2數據集　39　
3.2.6　YouTube數據集　40　
3.2.7　Olympic　Sports數據集　40　
3.2.8　TV　Human　Interaction數據集　40　
3.2.9　HMDB51數據集　41　
3.2.10　UCF50數據集　41　
3.2.11　UCF101數據集　42　
3.2.12　Sports-1M數據集　42　
3.2.13　THUMOS數據集　43　
3.2.14　ActivityNet數據集　43　
3.2.15　ACT數據集　43　
3.2.16　Charades數據集　44　
3.2.17　YouTube-8M數據集　44　
3.2.18　20BN-something-something數據集　45　
3.2.19　FCVID數據集　45　
3.2.20　Kinetics數據集　45　
3.3　視頻行為識別性能指標　46　
3.4　基於特徵設計的行為識別方法　47　
3.4.1　局部特徵描述　48　
3.4.2　特徵向量編碼　56　
3.4.3　行為類別預測　60　
3.5　基於深度學習的行為識別方法　61　
3.5.1　有監督視頻表示學習　62　
3.5.2　無監督視頻表示學習　72　
3.6　視頻行為識別方法性能對比分析　81　

第4章　時域視頻行為檢測　83　
4.1　概述　83　
4.2　時域視頻行為檢測數據集　84　
4.2.1　Coffee-and-Cigarettes數據集85　
4.2.2　DLSBP數據集　85　
4.2.3　MSR-II數據集　86　
4.2.4　GTEA數據集　86
4.2.5　KSCGR數據集　86　
4.2.6　MPII-Cooking數據集　88　
4.2.7　50Salads數據集　89　
4.2.8　THUMOS數據集　90　
4.2.9　ActivityNet數據集　91　
4.2.10　MPII-Cooking2數據集　93　
4.2.11　MultiTHUMOS數據集　94　
4.2.12　MEXaction2數據集　95　
4.2.13　Charades數據集　96　
4.2.14　MERL Shopping數據集　97　
4.2.15　TVSeries數據集　98　
4.2.16　HACS數據集　99　
4.3　時域視頻行為檢測性能指標　100　
4.3.1　精確率　101　
4.3.2　召回率　101　
4.3.3　平均召回率　101　
4.3.4　曲線下面積　101　
4.3.5　平均精確率　102　
4.3.6　終得分　102　
4.4　時域視頻行為檢測方法　102　
4.4.1　基於滑動視窗的方法　102　
4.4.2　基於分段檢測的方法　107　
4.4.3　基於時域提案的方法　113　
4.4.4　基於端對端的方法　126　
4.5　時域視頻行為檢測方法性能對比分析　131　

第5章　時空域視頻行為檢測　133　
5.1　概述　133　
5.2　時空域視頻行為檢測數據集　134　
5.2.1　UCF-Sports數據集　134　
5.2.2　MSR-II數據集　135　
5.2.3　UCF101數據集　135　
5.2.4　LIRIS-HARL數據集　136　
5.2.5　J-HMDB數據集　137　
5.2.6　Hollywood2Tubes數據集　138　
5.2.7　DALY數據集　139
5.2.8　AVA數據集　140　
5.3　時空域視頻行為檢測性能指標　141　
5.3.1　準確率　141　
5.3.2　接收者操作特性曲線　141　
5.3.3　平均最佳重疊度　142　
5.4　傳統時空域視頻行為檢測方法　142　
5.4.1　基於判別單元的方法　143　
5.4.2　基於密集軌跡的方法　145　
5.4.3　基於可變部件的方法　147　
5.4.4　基於層級分割的方法　149　
5.4.5　基於超圖元體的方法　151　
5.5　基於深度學習的時空域視頻行為檢測方法　154　
5.5.1　基於分段檢測的方法　154　
5.5.2　基於管提案的方法　171　
5.6　時空域視頻行為檢測方法性能對比分析　178　

第6章　視頻情感計算　181　
6.1　概述　181　
6.2　心理學情感模型　182　
6.3　視頻情感計算數據集　184　
6.3.1　DEAP數據集　184　
6.3.2　VideoEmotion數據集　184　
6.3.3　LIRIS-ACCEDE數據集　185　
6.3.4　EEV數據集　186　
6.4　視頻情感計算性能指標　186　
6.5　基於特徵設計的視頻情感計算方法　187　
6.5.1　視覺特徵提取　187　
6.5.2　音訊特徵提取　192　
6.5.3　情感模型學習　195　
6.6　基於深度學習的視頻情感計算方法　196　
6.6.1　增強型多模深度玻爾茲曼機　196　
6.6.2　多模深度回歸貝葉斯網路　199　
6.6.3　自我調整融合迴圈網路　201　
6.7　視頻情感計算方法性能對比分析　203　

結束語　206　
參考文獻　208　
彩圖