具身智能機器人系統(tǒng)

第1 部分具身智能機器人背景知識
第1 章自主經(jīng)濟的崛起：具身智能機器人的影響與發(fā)展 2
1.1 產(chǎn)業(yè)發(fā)展概況 3
1.1.1 國際產(chǎn)業(yè)發(fā)展現(xiàn)狀 3
1.1.2 國內(nèi)產(chǎn)業(yè)發(fā)展現(xiàn)狀 6
1.2 問題與挑戰(zhàn) 6
1.2.1 應(yīng)用場景的不確定性 7
1.2.2 產(chǎn)業(yè)鏈成本高企 7
1.2.3 系統(tǒng)集成難度較大 7
1.2.4 數(shù)據(jù)瓶頸 8
1.2.5 倫理規(guī)范 8
1.3 小結(jié) 9
第2 章具身智能機器人的歷史與未來 10
2.1 何謂具身智能 10
2.2 具身智能發(fā)展歷史 11
2.3 具身智能的傳統(tǒng)技術(shù)方向 12
2.3.1 基于行為的人工智能 12
2.3.2 受神經(jīng)生物學啟發(fā)的人工智能 13
2.3.3 認知發(fā)展機器人學 13
2.3.4 進化機器人學 14
2.3.5 物理體現(xiàn)與互動 15
2.4 基于大模型的具身智能技術(shù) 16
2.4.1 賦能具身智能機器人的基礎(chǔ)大模型分類 17
2.4.2 具身智能機器人設(shè)計自動化 17
2.5 小結(jié) 19
第2 部分具身智能機器人基礎(chǔ)模塊
第3 章機器人計算系統(tǒng) 21
3.1 概述 21
3.2 自主機器人計算系統(tǒng) 22
3.3 自動駕駛 25
3.3.1 自動駕駛簡史 25
3.3.2 自動駕駛計算系統(tǒng) 26
3.4 具身智能機器人 32
3.4.1 從自動駕駛到具身智能 33
3.4.2 具身智能計算系統(tǒng) 34
3.5 小結(jié) 36
第4 章自主機器人的感知系統(tǒng) 38
4.1 概述 38
4.2 物體檢測 38
4.3 語義分割 41
4.4 立體視覺與光流 43
4.4.1 立體視覺與深度估計 44
4.4.2 光流 45
4.5 鳥瞰視角感知 49
4.5.1 基于激光雷達的BEV 感知 49
4.5.2 基于相機的BEV 感知 51
4.5.3 基于融合的BEV 感知 55
4.6 小結(jié) 57
第5 章自主機器人的定位系統(tǒng) 58
5.1 概述 58
5.2 自主機器人的定位任務(wù) 59
5.3 自主機器人的定位原理 61
5.3.1 自主機器人定位系統(tǒng)分類 61
5.3.2 自主機器人定位算法原理 63
5.4 自主機器人定位的計算系統(tǒng) 69
5.4.1 多傳感器數(shù)據(jù)對齊 69
5.4.2 自主機器人定位的計算平臺 71
5.5 小結(jié) 72
第6 章自主機器人的規(guī)劃與控制系統(tǒng) 73
6.1 概述 73
6.2 路徑規(guī)劃和軌跡規(guī)劃 74
6.2.1 路徑規(guī)劃 74
6.2.2 軌跡規(guī)劃 76
6.2.3 變分方法 77
6.2.4 圖搜索方法 79
6.2.5 增量搜索策略 80
6.3 基于強化學習的規(guī)劃與控制 83
6.3.1 強化學習基本原理 83
6.3.2 基于強化學習的規(guī)劃與控制方法 85
6.4 小結(jié) 88
第3 部分具身智能機器人大模型
第7 章具身智能機器人大模型 91
7.1 概述 91
7.2 ChatGPT for Robotics: 故事的開始 92
7.2.1 背景與工作動機 92
7.2.2 ChatGPT 解決機器人控制問題的突出能力 92
7.2.3 ChatGPT for Robotics 的設(shè)計原則和工作流程 94
7.2.4 貢獻與局限性 95
7.3 Robotic Transformers：多模態(tài)大模型的應(yīng)用 96
7.4 未來工作發(fā)展方向 98
7.4.1 小模型的成功 99
7.4.2 更多的模態(tài) 101
7.5 小結(jié) 102
第8 章大模型用于機器人計算，顛覆還是進步 103
8.1 概述 103
8.2 從算法開發(fā)者角度看具身智能大模型 103
8.2.1 具身智能機器人在醫(yī)療領(lǐng)域的應(yīng)用 103
8.2.2 具身智能機器人在工業(yè)生產(chǎn)中的應(yīng)用 106
8.2.3 具身智能機器人在家庭環(huán)境中的應(yīng)用 107
8.3 給機器人接上大腦？從機器人系統(tǒng)開發(fā)看具身智能大模型 109
8.4 具身智能大模型的現(xiàn)狀：成功率、實時性、安全性及其他 110
8.5 小結(jié) 112
第9 章構(gòu)建具身智能基礎(chǔ)模型 114
9.1 背景知識 114
9.1.1 元學習 114
9.1.2 上下文學習 115
9.1.3 模型預(yù)訓練 115
9.1.4 模型微調(diào) 116
9.2 具身智能基礎(chǔ)模型 117
9.3 關(guān)鍵選擇及利弊權(quán)衡 118
9.4 克服計算和內(nèi)存瓶頸 119
9.5 小結(jié) 120
第4 部分具身智能機器人計算挑戰(zhàn)
第10 章加速機器人計算 122
10.1 概述 122
10.2 機器人定位模塊加速 122
10.3 機器人規(guī)劃模塊加速 127
10.4 機器人控制模塊加速 134
10.5 因子圖：機器人加速器的通用模板 136
10.6 小結(jié) 146
第11 章算法安全性 147
11.1 概述 147
11.2 人工智能安全：橫亙在算法與應(yīng)用之間的絆腳石 148
11.3 深度神經(jīng)網(wǎng)絡(luò)的攻擊與防御 149
11.3.1 逃逸攻擊 149
11.3.2 投毒攻擊 151
11.3.3 探索攻擊 152
11.3.4 防御方法 152
11.4 大模型中的安全問題 153
11.5 大模型安全隱患VS. 具身智能機器人安全 156
11.6 小結(jié) 157
第12 章系統(tǒng)可靠性 158
12.1 概述 158
12.2 機器人系統(tǒng)的可靠性漏洞 158
12.2.1 機器人本體的可靠性漏洞 158
12.2.2 機器人計算系統(tǒng)的可靠性漏洞 160
12.3 提升系統(tǒng)魯棒性的常見方法 164
12.4 自適應(yīng)冗余方法：提升魯棒性的同時降低系統(tǒng)負擔 166
12.5 小結(jié) 169
第13 章具身智能的數(shù)據(jù)挑戰(zhàn) 170
13.1 具身智能的數(shù)據(jù)價值 170
13.2 具身智能的數(shù)據(jù)瓶頸 171
13.3 AIRSPEED 系統(tǒng)設(shè)計 173
13.4 具身智能數(shù)據(jù)采集端點 175
13.5 仿真服務(wù) 176
13.6 數(shù)據(jù)對齊服務(wù) 177
13.7 小結(jié) 178
第5 部分具身智能機器人應(yīng)用案例
第14 章實例研究 180
14.1 系統(tǒng)設(shè)計 180
14.2 系統(tǒng)效果 185
14.3 小結(jié) 187
后記：總結(jié)與展望 189
參考文獻 192