前瞻交互：從語音、手勢設計到多模融合

隨著科技的進步，互聯網逐漸從電腦、手機螢幕走向VR、AR、智慧座艙、智慧家居等三維空間，為了讓使用者更自然地獲取資訊，多模態交互將起到關鍵作用。本書從人工智慧、用戶體驗和技術的角度出發，介紹不同模態之間的差異，本書重點講解語音交互設計、手勢設計、圖形和語音介面融合設計三個方面的知識。
 
本書適合從事人工智慧、語音交互、VR、AR、智慧座艙和智慧家居的產品經理和設計師閱讀，希望本書能幫助讀者更清晰地知道未來的科技走向。

第1章多模交互的演進1
1．1什麼是多模交互1
1．1．1人機交互的發展歷史1
1．1．2多模交互的定義4
1．1．3多模交互技術逐漸成熟6
1．1．4多模融合的三個階段9
1．2初步融合階段10
1．2．1多模態之間的關係10
1．2．2多模融合的關鍵12
1．2．3多模交互框架13
1．3語義理解階段14
1．3．1什麼是語義14
1．3．2語義對於多模交互的重要性15
1．4任務自我調整階段17
1．4．1認知負荷17
1．4．2隱私性19
1．4．3安全性20
1．4．4模態容量20
1．4．5資訊重要程度和交互歷史21
1．4．6交互距離22
1．5當前我們能做什麼23

第2章多模交互包含什麼25
2．1視覺系統的特點25
2．1．1視覺範圍25
2．1．23．5毫米的中央凹和每秒3~4次的跳動頻率26
2．1．3中央視覺和周圍視覺28
2．1．4我們是如何閱讀的29
2．1．5光亮與黑暗31
2．2聽覺32
2．2．1聽覺系統的特點32
2．2．2視覺和聽覺的區別34
2．3觸覺35
2．3．1觸覺系統的特點35
2．3．2觸覺感知的相關應用35
2．4嗅覺、味覺和五感理論40
2．4．1嗅覺系統和味覺系統的特點40
2．4．2嗅覺行銷相關案例42
2．4．3嗅覺交互上的探索43
2．4．4嗅覺和味覺設計存在的問題45
2．4．5五感理論45
2．5主動交互47
2．5．1包含情緒的語音47
2．5．2肢體動作48
2．5．3手勢49
2．5．4面部表情51
2．5．5眼神51
2．6無須主動交互的生物識別技術52
2．6．1指紋識別53
2．6．2人臉識別53
2．6．3虹膜識別54
2．6．4聲紋識別55
2．6．5心率檢測56
2．6．6肌肉電信號57
2．6．7腦電波58

第3章語音交互設計61
3．1聲音的構成和作用62
3．1．1語言63
3．1．2音樂和音效67
3．2語音交互的特點70
3．2．1語音交互的優勢70
3．2．2語音交互的不足72
3．2．3語音交互的五大特性77
3．3創造一位元智慧語音助手78
3．3．1尋找合適的音色80
3．3．2確定智慧語音助手和使用者的關係82
3．3．3構建智慧語音助手的使用者畫像84
3．3．4設計合理的喚醒詞86
3．4語音交互框架、意圖設計88
3．4．1四種語音交互模式88
3．4．2四種“喚醒+識別”方式89
3．4．3語音交互狀態設計90
3．4．4意圖設計術語介紹94
3．4．5智慧語音平臺如何聽懂使用者說的話98
3．4．6設計能聽懂使用者說什麼的智慧語音產品101
3．5對話設計原則107
3．5．1設計對話前需要瞭解的事項107
3．5．2任務型對話設計原則113
3．5．3修復對話設計原則118
3．6語音交互的GUI設計121

第4章仍在起步的隔空手勢交互130
4．1手勢的介紹130
4．1．1手勢交互的發展130
4．1．2手勢的分類132
4．2隔空手勢設計135
4．2．1設計隔空手勢時需要考慮的問題135
4．2．2導航手勢141
4．2．3語義手勢144
4．2．4操縱手勢146
4．3結合隔空手勢的UI設計147
4．3．1數字手部147
4．3．2直接觸摸149
4．3．3指針設計150
4．3．4交互組件的改造152

第5章語音圖形介面157
5．1GUI和VUI的區別158
5．1．1GUI的特點158
5．1．2VUI的特點160
5．1．3GUI和VUI融合時會遇到的問題162
5．2GUI和VUI融合的三種實現方式165
5．2．1應用級語音交互166
5．2．2可見即可說170
5．2．3系統級語音交互171
5．3VGUI設計原則172
5．4重構GUI操作179
5．4．1GUI控制項文案設計179
5．4．2GUI組件和容器文案設計184
5．4．3特殊的控制項和元件185
5．5VGUI核心設計要點187
5．5．1全域指令和局部指令的權衡187
5．5．2控制項/元件屬性的重構192
5．5．3手勢的融合200

第6章跨設備和多模交互201
6．1跨設備交互是什麼201
6．1．1跨設備和多模交互的關係201
6．1．2跨設備交互的六個維度202
6．2淺談跨設備和多模交互細節206
6．2．1結合用戶場景進行考慮206
6．2．2結合資訊密度和顯示距離進行考慮208
6．2．3模態的過渡和打斷211
6．3未來可期212
6．3．1面向未來的分散式作業系統212
6．3．2普適計算及未來213