具身智能機器人系統

第1部分具身智能機器人背景知識
第1章自主經濟的崛起：具身智能機器人的影響與發展 2
1.1 產業發展概況 3
1.1.1 國際產業發展現狀 3
1.1.2 國內產業發展現狀 6
1.2 問題與挑戰 6
1.2.1 應用場景的不確定性 7
1.2.2 產業鏈成本高企 7
1.2.3 系統集成難度較大 7
1.2.4 數據瓶頸 8
1.2.5 倫理規範 8
1.3 小結 9
第2章具身智能機器人的歷史與未來 10
2.1 何謂具身智能 10
2.2 具身智能發展歷史 11
2.3 具身智能的傳統技術方向 12
2.3.1 基於行為的人工智能 12
2.3.2 受神經生物學啟發的人工智能 13
2.3.3 認知發展機器人學 13
2.3.4 進化機器人學 14
2.3.5 物理體現與互動 15
2.4 基於大模型的具身智能技術 16
2.4.1 賦能具身智能機器人的基礎大模型分類 17
2.4.2 具身智能機器人設計自動化 17
2.5 小結 19

第2部分具身智能機器人基礎模塊
第3 章機器人計算系統 21
3.1 概述 21
3.2 自主機器人計算系統 22
3.3 自動駕駛 25
3.3.1 自動駕駛簡史 25
3.3.2 自動駕駛計算系統 26
3.4 具身智能機器人 32
3.4.1 從自動駕駛到具身智能 33
3.4.2 具身智能計算系統 34
3.5 小結 36
第4章自主機器人的感知系統 38
4.1 概述 38
4.2 物體檢測 38
4.3 語義分割 41
4.4 立體視覺與光流 43
4.4.1 立體視覺與深度估計 44
4.4.2 光流 45
4.5 鳥瞰視角感知 49
4.5.1 基於激光雷達的BEV 感知 49
4.5.2 基於相機的BEV 感知 51
4.5.3 基於融合的BEV 感知 55
4.6 小結 57
第5章自主機器人的定位系統 58
5.1 概述 58
5.2 自主機器人的定位任務 59
5.3 自主機器人的定位原理 61
5.3.1 自主機器人定位系統分類 61
5.3.2 自主機器人定位算法原理 63
5.4 自主機器人定位的計算系統 69
5.4.1 多傳感器數據對齊 69
5.4.2 自主機器人定位的計算平臺 71
5.5 小結 72
第6章自主機器人的規劃與控制系統 73
6.1 概述 73
6.2 路徑規劃和軌跡規劃 74
6.2.1 路徑規劃 74
6.2.2 軌跡規劃 76
6.2.3 變分方法 77
6.2.4 圖搜索方法 79
6.2.5 增量搜索策略 80
6.3 基於強化學習的規劃與控制 83
6.3.1 強化學習基本原理 83
6.3.2 基於強化學習的規劃與控制方法 85
6.4 小結 88

第3部分具身智能機器人大模型
第7 章具身智能機器人大模型 91
7.1 概述 91
7.2 ChatGPT for Robotics: 故事的開始 92
7.2.1 背景與工作動機 92
7.2.2 ChatGPT 解決機器人控制問題的突出能力 92
7.2.3 ChatGPT for Robotics 的設計原則和工作流程 94
7.2.4 貢獻與局限性 95
7.3 Robotic Transformers：多模態大模型的應用 96
7.4 未來工作發展方向 98
7.4.1 小模型的成功 99
7.4.2 更多的模態 101
7.5 小結 102
第8章大模型用於機器人計算，顛覆還是進步 103
8.1 概述 103
8.2 從算法開發者角度看具身智能大模型 103
8.2.1 具身智能機器人在醫療領域的應用 103
8.2.2 具身智能機器人在工業生產中的應用 106
8.2.3 具身智能機器人在家庭環境中的應用 107
8.3 給機器人接上大腦？從機器人系統開發看具身智能大模型 109
8.4 具身智能大模型的現狀：成功率、實時性、安全性及其他 110
8.5 小結 112
第9章構建具身智能基礎模型 114
9.1 背景知識 114
9.1.1 元學習 114
9.1.2 上下文學習 115
9.1.3 模型預訓練 115
9.1.4 模型微調 116
9.2 具身智能基礎模型 117
9.3 關鍵選擇及利弊權衡 118
9.4 克服計算和內存瓶頸 119
9.5 小結 120

第4部分具身智能機器人計算挑戰
第10 章加速機器人計算 122
10.1 概述 122
10.2 機器人定位模塊加速 122
10.3 機器人規劃模塊加速 127
10.4 機器人控制模塊加速 134
10.5 因子圖：機器人加速器的通用模板 136
10.6 小結 146
第11 章算法安全性 147
11.1 概述 147
11.2 人工智能安全：橫亙在算法與應用之間的絆腳石 148
11.3 深度神經網絡的攻擊與防禦 149
11.3.1 逃逸攻擊 149
11.3.2 投毒攻擊 151
11.3.3 探索攻擊 152
11.3.4 防禦方法 152
11.4 大模型中的安全問題 153
11.5 大模型安全隱患VS. 具身智能機器人安全 156
11.6 小結 157
第12章系統可靠性 158
12.1 概述 158
12.2 機器人系統的可靠性漏洞 158
12.2.1 機器人本體的可靠性漏洞 158
12.2.2 機器人計算系統的可靠性漏洞 160
12.3 提升系統魯棒性的常見方法 164
12.4 自適應冗餘方法：提升魯棒性的同時降低系統負擔 166
12.5 小結 169
第13 章具身智能的數據挑戰 170
13.1 具身智能的數據價值 170
13.2 具身智能的數據瓶頸 171
13.3 AIRSPEED 系統設計 173
13.4 具身智能數據采集端點 175
13.5 仿真服務 176
13.6 數據對齊服務 177
13.7 小結 178

第5部分具身智能機器人應用案例
第14 章實例研究 180
14.1 系統設計 180
14.2 系統效果 185
14.3 小結 187
後記：總結與展望 189
參考文獻 192

甘一鳴，博士，中國科學院計算技術研究所助理研究員。博士畢業于羅切斯特大學計算機學院。甘一鳴從事的研究方向為計算機體系結構，具體方向為面向機器人應用的專用芯片設計、自主機器系統的高效性與魯棒性、集成電路設計自動化等。曾在ISCA、MICRO、HPCA、ASPLOS等體系結構領域頂會上發表文章。曾獲得PACT2020年最佳論文提名，中科院特別資助計劃等獎項。
 
劉少山博士，現任深圳市人工智能與機器人研究院具身智能中心主任，世界青年科學院院士 （Elected Member，Global Young Academy）、IEEE高級會員，ACM傑出演講人、IEEE傑出演講人、ACM科技政策委員會成員、IEEE國際設備和系統路線圖（IRDS）機器人計算方向主席，IEEE科技創業會中國區主席、世界經濟論壇（WEF）議程貢獻者等。劉少山博士在加州大學歐文分校取得計算機工程專業博士學位，美國哈佛大學肯尼迪政治學院公共管理碩士，先後在美國微軟研究院、英特爾研究院、百度北美研究院任職，目前共發表高水平論文超過 100 篇，包括MICRO，HPCA，ASPLOS，DAC, Proceedings of the IEEE, IEEE Transactions on Computer，Communication of ACM，IEEE Computer等。另外著有《Robotic Computing on FPGAs》等4 本中英文專著，授權國內外發明專利超過100項。