 在具身智能領(lǐng)域，有一個(gè)被忽視的重要問題：力控技術(shù)在機(jī)器人操作中至關(guān)重要，為何卻被機(jī)器人學(xué)習(xí)算法忽視？ 這背后的關(guān)鍵原因在于大規(guī)模力交互數(shù)據(jù)集的匱乏。盡管互聯(lián)網(wǎng)上充斥著海量的操作視頻資源，但這些資料中往往缺乏精確的交互力數(shù)據(jù)，加之收集以力為中心的操作演示數(shù)據(jù)面臨重重挑戰(zhàn)，因而雖有海量視頻卻難以直接轉(zhuǎn)化為機(jī)器人學(xué)習(xí)的有效素材。 當(dāng)前機(jī)器人學(xué)習(xí)聚焦在以軌跡為中心的模仿學(xué)習(xí)，在涉及復(fù)雜高頻接觸任務(wù)時(shí)存在軌跡誤差大和交互不確定性的問題。同時(shí)，以UMI、DexCap為代表的便攜式數(shù)據(jù)采集系統(tǒng)缺乏有效的交互力數(shù)據(jù)，難以直接用于魯棒的機(jī)器人力交互策略學(xué)習(xí)。如何賦予機(jī)器人力感知-力交互的具身決策能力，成為當(dāng)前具身智能領(lǐng)域的挑戰(zhàn)性課題。 面對(duì)這一難題，穹徹智能與上海交通大學(xué)盧策吾團(tuán)隊(duì)攜手合作，進(jìn)行深入研究，并發(fā)現(xiàn)人類中樞神經(jīng)系統(tǒng)不僅能預(yù)測(cè)力負(fù)載，還可以將這些動(dòng)力學(xué)信息融入人類運(yùn)動(dòng)模型?；谶@一洞見，研究團(tuán)隊(duì)創(chuàng)新性地開發(fā)了一個(gè)以力為中心的機(jī)器人模仿學(xué)習(xí)系統(tǒng)ForceMimic。
ForceMimic系統(tǒng)由可擴(kuò)展的現(xiàn)場(chǎng)力-運(yùn)動(dòng)數(shù)據(jù)采集系統(tǒng)ForceCapture，和創(chuàng)新的力-位混合模仿學(xué)習(xí)算法HybridIL兩大核心組件構(gòu)成。其中，ForceCapture是一個(gè)手持式無需機(jī)器人參與的現(xiàn)場(chǎng)數(shù)據(jù)采集系統(tǒng)，可精準(zhǔn)捕捉并記錄操作過程中的力、姿態(tài)及運(yùn)動(dòng)軌跡等多維度數(shù)據(jù)，用于記錄高質(zhì)量自然力交互操作演示，并為后續(xù)的力交互模仿學(xué)習(xí)提供豐富且真實(shí)的數(shù)據(jù)源。HybridIL模仿學(xué)習(xí)算法則可以通過對(duì)大量力旋量-姿態(tài)軌跡數(shù)據(jù)的學(xué)習(xí)，利用擴(kuò)散模型從三維視覺中直接預(yù)測(cè)全空間的力旋量-位置動(dòng)作，并通過力-位控制基元和位置控制基元匹配全空間力旋量-位置指令，在復(fù)雜連續(xù)接觸操作任務(wù)中實(shí)現(xiàn)穩(wěn)健的性能。 以西葫蘆削皮實(shí)驗(yàn)為例ForceMimic相比當(dāng)前以軌跡為中心模仿學(xué)習(xí)算法性能提升了54.5%，數(shù)據(jù)采集效率相比遙操作從13分鐘降低到5分鐘。 視頻2：RawDP和HybridIL削皮對(duì)比視頻
實(shí)驗(yàn)中，HybridIL算法在確保不損傷西葫蘆的前提下，精準(zhǔn)地完成對(duì)不同尺寸外皮的削除任務(wù)，成功應(yīng)對(duì)了各類削皮挑戰(zhàn)。尤為值得一提的是，即使在將成功標(biāo)準(zhǔn)提高至削皮長度必須超過10厘米的嚴(yán)苛條件下，HybridIL算法依然能保持高達(dá)85%的成功率，這充分證明了其出色的魯棒性。在削皮效果上，HybridIL算法的表現(xiàn)也更為出色，所削下的外皮不僅長度更長，而且更為光滑均勻。其操作力曲線與人類操作員所收集的數(shù)據(jù)最為相似，交互力控制也更加精細(xì)。 ▍ForceMimic方法詳解
圖2 ForceMimic：以力為中心機(jī)器人模仿學(xué)習(xí)系統(tǒng) ForceMimic首先使用 (a) ForceCapture，一個(gè)手持式無需機(jī)器人參與的現(xiàn)場(chǎng)數(shù)據(jù)采集系統(tǒng)，精準(zhǔn)捕捉并記錄操作過程中的力、姿態(tài)及運(yùn)動(dòng)軌跡等多維度數(shù)據(jù)（詳見A章節(jié)），用于記錄 (b) 高質(zhì)量自然力交互操作演示，為后續(xù)的模仿學(xué)習(xí)提供了豐富且真實(shí)的數(shù)據(jù)源。隨后將手持設(shè)備數(shù)據(jù)轉(zhuǎn)換為機(jī)器人端的“偽”機(jī)器人數(shù)據(jù)格式（詳見B章節(jié)），從而消除手持設(shè)備到機(jī)器人的領(lǐng)域差距，確保數(shù)據(jù)的一致性和可用性。利用這些數(shù)據(jù)，(c) HybridIL模仿學(xué)習(xí)算法（詳見C章節(jié)）通過對(duì)大量力旋量-姿態(tài)軌跡數(shù)據(jù)的學(xué)習(xí)，能夠精準(zhǔn)預(yù)測(cè)機(jī)器人在執(zhí)行特定任務(wù)時(shí)所需的力和位置參數(shù)，從而在接觸復(fù)雜連續(xù)接觸操作任務(wù)中實(shí)現(xiàn)穩(wěn)健的性能。完整流程如圖3所示。
圖3：流程概述：(a) 首先將收集的手持設(shè)備數(shù)據(jù)轉(zhuǎn)換為（偽）機(jī)器人數(shù)據(jù)，消除領(lǐng)域差距。對(duì)捕獲的6維力旋量數(shù)據(jù)進(jìn)行重力補(bǔ)償，獲取力交互數(shù)據(jù)，SLAM相機(jī)記錄的姿態(tài)轉(zhuǎn)換為機(jī)器人的TCP姿態(tài)。RGB-D觀察圖像被回投到點(diǎn)云并過濾掉無關(guān)點(diǎn)。(b) 利用這些數(shù)據(jù)，學(xué)習(xí)基于擴(kuò)散模型的策略，同時(shí)預(yù)測(cè)位置和力旋量。(c) 根據(jù)預(yù)測(cè)的力值，選擇 IK 關(guān)節(jié)位置控制基元或混合力-位控制基元，匹配輸出的力-位參數(shù)執(zhí)行操作。 A.硬件設(shè)計(jì)：ForceCapture——精準(zhǔn)捕捉力數(shù)據(jù)的創(chuàng)新解決方案 視頻3：ForceCapture在真實(shí)廚房場(chǎng)景進(jìn)行數(shù)據(jù)收集 在復(fù)雜連續(xù)接觸操作中，如何準(zhǔn)確、自然且經(jīng)濟(jì)高效地捕捉力數(shù)據(jù)一直是模仿學(xué)習(xí)領(lǐng)域面臨的重大挑戰(zhàn)。不同的數(shù)據(jù)收集方法可能帶來不同的力交互動(dòng)態(tài)，即使軌跡相同，交互力也可能大相徑庭。因此，設(shè)計(jì)一款能夠有效捕捉人手操作的真實(shí)、自然力交互的力-位數(shù)據(jù)收集系統(tǒng)顯得尤為重要。 受到UMI和DexCap這類手持?jǐn)?shù)據(jù)采集設(shè)備的啟發(fā)，團(tuán)隊(duì)研發(fā)了ForceCapture，一款集低成本、高兼容性、強(qiáng)通用性于一身的無需機(jī)器人參與的力-位置捕捉設(shè)備。該設(shè)備的設(shè)計(jì)緊密圍繞三大核心目標(biāo)展開： 1.可擴(kuò)展性：團(tuán)隊(duì)致力于打造一款成本低廉、易于制造和維護(hù)的設(shè)備，同時(shí)確保其能夠輕松適配各種力傳感器，滿足不同應(yīng)用場(chǎng)景的需求。 2.現(xiàn)場(chǎng)力的真實(shí)感：與依賴力反饋技術(shù)的遙操作系統(tǒng)不同，F(xiàn)orceCapture直接從人類操作中捕捉實(shí)時(shí)力數(shù)據(jù)，無需用戶適應(yīng)任何人造的臨場(chǎng)感，確保數(shù)據(jù)的真實(shí)性和自然性。 3.人體工學(xué)舒適性：ForceCapture嚴(yán)格遵循人體工學(xué)原則，如合理分布重心和增強(qiáng)操作便利性，以維持用戶的自然操作習(xí)慣。不良的人體工學(xué)設(shè)計(jì)可能影響肌肉用力模式或引發(fā)不適，導(dǎo)致非自然的力數(shù)據(jù)產(chǎn)生，進(jìn)而影響數(shù)據(jù)準(zhǔn)確性。
圖4：ForceCapture的結(jié)構(gòu)：包括(a)固定工具末端執(zhí)行器版本和(b)夾爪版本，并提供了(c)獨(dú)特的自鎖功能。 ForceCapture的整體設(shè)計(jì)如圖4所示，包括固定工具末端執(zhí)行器版本和夾爪版本。兩款設(shè)計(jì)的共同亮點(diǎn)在于其內(nèi)置的六軸力傳感器，該傳感器置于末端執(zhí)行器與用戶握柄之間，能夠精準(zhǔn)捕捉執(zhí)行器與環(huán)境的交互力。同時(shí)，一個(gè)高精度的SLAM攝像頭被安裝在力傳感器附近，負(fù)責(zé)記錄交互過程中的運(yùn)動(dòng)數(shù)據(jù)。用戶只需簡(jiǎn)單握住手柄，即可直接操作工具或控制手指進(jìn)行抓取和操作任務(wù)。 在夾爪版本中，團(tuán)隊(duì)特別設(shè)計(jì)了“小齒輪和齒條”機(jī)制以確保兩個(gè)手指夾持器的同步運(yùn)動(dòng)。通過連接編碼器的小齒輪，F(xiàn)orceCapture能夠準(zhǔn)確記錄夾持器的開啟距離，并基于編碼器角度與夾持器寬度之間的校準(zhǔn)關(guān)系，實(shí)時(shí)計(jì)算并輸出連續(xù)的寬度值。 夾爪自鎖：人手開合夾爪時(shí)，對(duì)夾爪施加的力也會(huì)傳遞到力傳感器，干擾了手爪和外界交互力的測(cè)量，為了解決該問題，團(tuán)隊(duì)引入了單向鎖定機(jī)制，如圖4(c)所示，夾爪抓取物體后可以自動(dòng)鎖緊，物體無法撐開夾爪，手指無需手動(dòng)維持夾爪關(guān)閉，避免影響交互力的測(cè)量。手指通過指環(huán)內(nèi)杠桿，可以解除自鎖，這一設(shè)計(jì)符合手指控制夾爪開合的自然邏輯，提升了設(shè)備的人體工學(xué)舒適性。 此外，F(xiàn)orceCapture的整體設(shè)計(jì)充分考慮了設(shè)備的重心分布、高性價(jià)比和高效便攜。其重心巧妙置于手柄上方，順應(yīng)人手施力的自然習(xí)慣。其制造過程簡(jiǎn)便高效，主體結(jié)構(gòu)全由3D打印技術(shù)完成，不僅降低了成本，還提升了設(shè)計(jì)靈活性。打印部件和編碼器的整體成本控制在約400元，實(shí)現(xiàn)了高性價(jià)比。夾爪版ForceCapture設(shè)備總重僅0.8千克，力傳感器占去0.5千克，其余附件僅重0.3千克。 B.數(shù)據(jù)收集與轉(zhuǎn)換：精準(zhǔn)捕捉，高效處理 ForceCapture數(shù)據(jù)收集系統(tǒng)集成了高精度傳感器，包括六軸F/T傳感器、RealSense T265 SLAM相機(jī)及RealSense L515 RGB-D相機(jī)，各傳感器分別以1000Hz、200Hz、30Hz的頻率精準(zhǔn)采集數(shù)據(jù)。對(duì)于夾爪版本，還特別加入了編碼器角度數(shù)據(jù)的收集，同樣以30Hz的頻率進(jìn)行。在數(shù)據(jù)處理階段，所有傳感器數(shù)據(jù)將被精確對(duì)齊至L515相機(jī)的觀察頻率，確保數(shù)據(jù)的時(shí)間一致性和準(zhǔn)確性。 在數(shù)據(jù)收集開始前，T265相機(jī)被暫時(shí)安裝在L515支架上，以確定兩者間的相對(duì)位置。一旦數(shù)據(jù)收集啟動(dòng)，T265相機(jī)便移至ForceCapture上，利用初始位置信息跟蹤ForceCapture的運(yùn)動(dòng)軌跡，實(shí)現(xiàn)無縫銜接。 在ForceCapture系統(tǒng)中，力傳感器扮演著至關(guān)重要的角色，它負(fù)責(zé)捕捉末端執(zhí)行器與外部環(huán)境交互時(shí)的綜合力，這其中包括了工具或夾爪本身的重力和可能產(chǎn)生的慣性力。為了確保測(cè)量數(shù)據(jù)的準(zhǔn)確性，團(tuán)隊(duì)必須從力傳感器原始數(shù)據(jù)中剔除這些不必要的外力影響。 為了實(shí)現(xiàn)這一目標(biāo)，團(tuán)隊(duì)基于一個(gè)關(guān)鍵假設(shè)：ForceCapture的數(shù)據(jù)收集過程是在準(zhǔn)靜態(tài)條件下進(jìn)行的。這意味著，在每個(gè)測(cè)量位置，系統(tǒng)都處于靜態(tài)平衡狀態(tài)，可以專注于補(bǔ)償工具的重力，而忽略由動(dòng)態(tài)運(yùn)動(dòng)產(chǎn)生的慣性力。 重力補(bǔ)償?shù)倪^程精細(xì)而嚴(yán)謹(jǐn)。首先，操作員在準(zhǔn)靜態(tài)條件下操作ForceCapture，同時(shí)記錄其姿態(tài)和力矩?cái)?shù)據(jù)。這些數(shù)據(jù)反映了在不同姿態(tài)下，工具重力對(duì)力傳感器讀數(shù)的影響。隨后，團(tuán)隊(duì)利用這些靜態(tài)平衡力數(shù)據(jù)，構(gòu)建了一個(gè)超定方程系統(tǒng)。該系統(tǒng)通過數(shù)學(xué)方法整合了多個(gè)位置上的力矩平衡信息，使得團(tuán)隊(duì)能夠利用最小二乘法精確估算出工具的質(zhì)心和重量。 通過這一重力補(bǔ)償流程，團(tuán)隊(duì)成功地從力傳感器原始數(shù)據(jù)中剝離了工具重力的影響，確保了只記錄ForceCapture和外界環(huán)境的交互力。
C.HybridIL學(xué)習(xí)算法：力-位混合全空間動(dòng)作生成 HybridIL，是一種以力為中心的端到端模仿學(xué)習(xí)框架，將視覺感知映射至精細(xì)的力-位混合控制策略，如圖3(b)所示。該算法以點(diǎn)云數(shù)據(jù)作為視覺輸入，首先利用MLP編碼器將其轉(zhuǎn)化為緊湊的一維視覺特征向量。隨后，這些視覺特征與機(jī)器人的工具中心點(diǎn)（TCP）位姿數(shù)據(jù)相融合，共同構(gòu)成多模態(tài)的聯(lián)合表征，為后續(xù)的策略生成提供豐富而全面的輸入。在策略生成階段，HybridIL采用了經(jīng)過優(yōu)化的擴(kuò)散策略模型，該模型能夠精準(zhǔn)預(yù)測(cè)未來20個(gè)時(shí)間步的位置軌跡及力旋量參數(shù)。
圖6:力-位控制基元匹配模型策略示意圖。當(dāng)混合力-位置控制基元處于激活狀態(tài)時(shí)，運(yùn)動(dòng)方向 d(^) 基于策略提供的姿態(tài)軌跡 Pt:t 10 計(jì)算, 預(yù)測(cè)的力 Ft:t 10被正交化為 Ft(丄):t 10 ?；旌狭?位置控制基元以運(yùn)動(dòng)方向 d(^) 和力 Ft(丄) 為正交方向，實(shí)現(xiàn)力-位置跟蹤。 需要說明的是，通?；旌狭?位控制需要滿足正交特性，但HybridIL無需顯式的建模這種正交性，而是通過正交的力-位控制基元去匹配模型輸出的全空間力-位動(dòng)作指令。這一策略不同于傳統(tǒng)模仿學(xué)習(xí)方法，后者往往采用固定的位置控制器去跟蹤模型預(yù)測(cè)的位置命令。HybridIL則采用兩種截然不同的控制基元，靈活適配模型預(yù)測(cè)的力-位置參數(shù)，如圖3(c)所示。具體而言，當(dāng)預(yù)測(cè)的力低于6N的預(yù)設(shè)閾值時(shí)，HybridIL會(huì)啟用基于逆運(yùn)動(dòng)學(xué)（IK）的關(guān)節(jié)位置控制器；而一旦預(yù)測(cè)的力在連續(xù)多個(gè)步驟中超過6N，系統(tǒng)則自動(dòng)切換至混合力-位置控制器，以確保精準(zhǔn)執(zhí)行模型預(yù)測(cè)的參數(shù)。 正交力-位置匹配機(jī)制的實(shí)現(xiàn)過程如圖6所示。對(duì)于連續(xù)超過6N閾值的力-位置動(dòng)作，HybridIL首先基于前后位置信息確定運(yùn)動(dòng)方向，隨后將相應(yīng)的預(yù)測(cè)力信息精準(zhǔn)投射至該運(yùn)動(dòng)方向的正交平面上，從而明確了執(zhí)行過程中的力控制參數(shù)。在混合力-位置控制的初始階段，若末端執(zhí)行器尚未與操作對(duì)象建立穩(wěn)定接觸，HybridIL會(huì)預(yù)先施加一個(gè)與預(yù)期力控制方向相反的按壓動(dòng)作，以確保兩者間能夠迅速且穩(wěn)固地接觸。這些復(fù)雜而精細(xì)的控制功能均通過Flexiv RDK平臺(tái)提供的關(guān)節(jié)位置控制和混合力-位置控制得以實(shí)現(xiàn)，共同支撐HybridIL系統(tǒng)高效、準(zhǔn)確地執(zhí)行模型輸出的全空間力-位置動(dòng)作
▍實(shí)驗(yàn)驗(yàn)證 團(tuán)隊(duì)以西葫蘆削皮來驗(yàn)證ForceCapture數(shù)據(jù)采集系統(tǒng)的效率以及HybridIL算法在實(shí)際應(yīng)用中的有效性。 A. 數(shù)據(jù)采集效率：ForceCapture vs. 遙操作 在當(dāng)前的機(jī)器人技術(shù)中，同步采集位姿軌跡與六軸力數(shù)據(jù)常依賴于遙操作系統(tǒng)。為了直觀展示ForceCapture在數(shù)據(jù)收集效率上的顯著優(yōu)勢(shì)，團(tuán)隊(duì)特別設(shè)計(jì)了一項(xiàng)對(duì)比實(shí)驗(yàn)，聚焦于單臂西葫蘆削皮這一具體任務(wù)。
圖8：用于數(shù)據(jù)收集效率比較的實(shí)驗(yàn)設(shè)置，以及完全削皮一個(gè)西葫蘆所需的時(shí)間 實(shí)驗(yàn)場(chǎng)景如圖8(a)所示，操作員需完成一系列精細(xì)動(dòng)作，包括拿起削皮器、在支架上準(zhǔn)確削皮、平穩(wěn)放下削皮器，以及靈活抓取西葫蘆調(diào)整其朝向以完成全面削皮。鑒于該任務(wù)對(duì)力的精確捕捉與手指運(yùn)動(dòng)的靈活性有極高要求，團(tuán)隊(duì)選用了ForceCapture的夾爪版本作為數(shù)據(jù)收集工具。 作為對(duì)比，團(tuán)隊(duì)還設(shè)置了遙操作采集系統(tǒng)和人類單手削皮實(shí)驗(yàn)，遙操作遵循RH20T中的配置描述，圖8(b)顯示了數(shù)據(jù)采集的對(duì)比結(jié)果。 首先，在效率方面，遙操作所需時(shí)間約為ForceCapture的三倍，F(xiàn)orceCapture的數(shù)據(jù)收集時(shí)間幾乎與直接人工削皮時(shí)間持平，這意味著它幾乎能夠在不影響操作流暢性的前提下，實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)捕捉與記錄。 其次，在用戶友好性方面，ForceCapture也展現(xiàn)出了巨大優(yōu)勢(shì)。遙操作通常需要操作員接受專業(yè)培訓(xùn)，以熟悉復(fù)雜的操作接口與邏輯，而這一過程往往耗時(shí)耗力。相比之下，F(xiàn)orceCapture幾乎無需任何額外培訓(xùn)，用戶僅需簡(jiǎn)單操作一次便能迅速上手，實(shí)現(xiàn)高效的數(shù)據(jù)采集。這種直觀、自然的操作方式不僅降低了學(xué)習(xí)成本，也極大提升了用戶體驗(yàn)，為規(guī)模化數(shù)據(jù)采集奠定基礎(chǔ)。 此外，實(shí)驗(yàn)過程中還發(fā)現(xiàn)了一個(gè)重要現(xiàn)象：在遙操作過程中，由于操作接口未能完全模擬真實(shí)環(huán)境的力交互與動(dòng)態(tài)變化，加之操作員對(duì)系統(tǒng)操作邏輯的掌握尚不夠熟練，導(dǎo)致了三次操作失誤，進(jìn)而觸發(fā)了采集工作的中斷，影響了任務(wù)的連續(xù)性與效率。而ForceCapture則憑借其穩(wěn)定的性能與直觀的操作方式，避免了此類問題的發(fā)生，確保了數(shù)據(jù)采集的順利進(jìn)行。 得益于ForceCapture的便攜性和無需機(jī)器人輔助的特點(diǎn)，它能夠輕松跨越實(shí)驗(yàn)室界限，實(shí)現(xiàn)大規(guī)模力交互數(shù)據(jù)的采集。這一優(yōu)勢(shì)將極大地推動(dòng)具身智能在深度物理交互領(lǐng)域的研究進(jìn)展。 B. 操作性能評(píng)估：以西葫蘆削皮任務(wù)為例 a) 實(shí)驗(yàn)設(shè)置： 為全面驗(yàn)證ForceMimic系統(tǒng)的有效性，團(tuán)隊(duì)將西葫蘆削皮任務(wù)設(shè)定為一個(gè)端到端的技能學(xué)習(xí)任務(wù)。在數(shù)據(jù)采集階段，團(tuán)隊(duì)采用了ForceCapture的固定工具版本（如圖2(a)所示），允許操作員以自然姿態(tài)握持西葫蘆并進(jìn)行削皮操作。這一設(shè)置確保了收集到的數(shù)據(jù)能夠真實(shí)反映實(shí)際操作中的力與位姿變化。 在機(jī)器人實(shí)驗(yàn)階段，團(tuán)隊(duì)采用了Flexiv Rizon 4機(jī)械臂作為執(zhí)行平臺(tái)，并配置了L515 RGB-D相機(jī)以捕捉實(shí)時(shí)視覺信息（如圖2(c)所示）。L515相機(jī)在數(shù)據(jù)收集和機(jī)器人實(shí)驗(yàn)過程中保持固定位置，以確保視覺輸入的一致性。機(jī)械臂左臂配備夾爪以穩(wěn)定西葫蘆，右臂則使用與ForceCapture相同的固定削皮器，通過HybridIL算法驅(qū)動(dòng)實(shí)現(xiàn)削皮技能。 為訓(xùn)練模仿學(xué)習(xí)算法，團(tuán)隊(duì)削完了15根西葫蘆，收集了438個(gè)削皮技能片段，包含總計(jì)30,199個(gè)動(dòng)作序列。相對(duì)于感知數(shù)據(jù)，動(dòng)作向前推進(jìn)了 3 個(gè)時(shí)間步。HybridIL 模型和基線方法均訓(xùn)練了 500 個(gè)周期。 b) 實(shí)驗(yàn)方法： 除了訓(xùn)練HybridIL之外，團(tuán)隊(duì)還訓(xùn)練了其他三種基線方法。Raw DP（Diffusion Policy, 擴(kuò)散策略）使用原始的視覺感知和機(jī)器人姿態(tài)作為輸入，基于擴(kuò)散策略輸出末端執(zhí)行器的姿態(tài)序列。Force DP結(jié)合了視覺感知、機(jī)器人姿態(tài)和機(jī)器人力傳感作為輸入，同樣輸出末端執(zhí)行器的姿態(tài)序列。Force Hybrid DP則使用視覺感知、機(jī)器人姿態(tài)和機(jī)器人力傳感作為輸入，但同時(shí)輸出姿態(tài)和力旋量序列。對(duì)于輸出力-位置參數(shù)的基線方法，同樣采用了混合力-位控制基元來匹配和切換不同的控制模式。Raw DP和HybridIL均測(cè)試了20次剝皮動(dòng)作，由于性能不佳，其他兩種模型僅測(cè)試了10次剝皮動(dòng)作。削皮實(shí)驗(yàn)中機(jī)器人初始TCP姿態(tài)與數(shù)據(jù)集中的姿態(tài)一致，即位于西葫蘆的上后方。 c) 評(píng)估指標(biāo)： 為客觀評(píng)估各算法的性能表現(xiàn)，團(tuán)隊(duì)制定了以下兩個(gè)評(píng)估標(biāo)準(zhǔn)： 運(yùn)動(dòng)軌跡正確性：評(píng)估削皮動(dòng)作是否在不損壞西葫蘆的前提下成功削去任何長度和寬度的皮。這一指標(biāo)旨在檢驗(yàn)算法對(duì)削皮任務(wù)的位置交互操作性能。 削皮連續(xù)性：進(jìn)一步要求削皮過程中必須連續(xù)削去超過10厘米的西葫蘆皮。這一標(biāo)準(zhǔn)不僅考察了算法的削皮位置準(zhǔn)確率，還間接反映了其對(duì)力控與位控的綜合協(xié)調(diào)能力，不正確的削皮動(dòng)作和施力可能導(dǎo)致無法連續(xù)削去10厘米的皮。 d) 實(shí)驗(yàn)結(jié)果與分析
表1
表1總結(jié)了四種不同方法在西葫蘆削皮任務(wù)中的表現(xiàn)，圖9則顯示了四種方法的削皮結(jié)果。 Raw DP方法取得了80%(16/20)的軌跡正確成功率，其失敗案例主要?dú)w因于用力過大導(dǎo)致西葫蘆損壞（如圖9-1②）以及未能成功接觸西葫蘆（如圖9-1④）。相比之下，HybridIL方法展現(xiàn)出了卓越的性能，達(dá)到了100%的成功率，所有嘗試均成功完成了削皮任務(wù)（如圖9-3所示），證明了其在端到端削皮技能學(xué)習(xí)任務(wù)中的有效性。 將成功標(biāo)準(zhǔn)提高至剝皮長度超過10厘米時(shí)，Raw DP和HybridIL的成功率均有所下降。Raw DP的成功率降至55%，新增的失敗案例包括剝皮長度不足（圖9-1①）和剝皮過程中斷（圖9-1③）。HybridIL雖然也遇到了類似的挑戰(zhàn)，但其成功率仍保持在85%，顯示了更強(qiáng)的魯棒性。HybridIL的失敗案例同樣涉及剝皮長度不足和中斷，但深入分析后發(fā)現(xiàn)，這些失敗主要是由于輸出力-位參數(shù)過早結(jié)束，導(dǎo)致混合力-位控制基元過早切換為IK 關(guān)節(jié)位置控制基元。 值得注意的是，包含力輸入的模型（Force DP和Force Hybrid DP）在本次實(shí)驗(yàn)中表現(xiàn)不佳。這一結(jié)果與團(tuán)隊(duì)的初步預(yù)期相悖，原本期望力傳感信息的加入能夠提升模型性能。然而，在初始接近西葫蘆時(shí)模型還能輸出正確動(dòng)作，當(dāng)發(fā)生接觸時(shí)候，這些模型則很難預(yù)測(cè)出準(zhǔn)確的削皮姿態(tài)和力，導(dǎo)致削皮失敗。進(jìn)一步探究表明，Raw DP雖然能完成削皮動(dòng)作，但是削皮力均值卻在20N左右，部分位置達(dá)到40N，遠(yuǎn)高于人手削皮的平均6N，如圖10-1和10-2。機(jī)器人削皮和人手削皮中的交互力差異，是導(dǎo)致將力作為輸入時(shí)模型性能變差的原因。解決交互力的分布差異是提升力感知輸入模型性能的關(guān)鍵。 盡管如此，HybridIL方法在本次實(shí)驗(yàn)中依然表現(xiàn)出色，在平均7.5N的交互力下成功完成了均勻的削皮任務(wù)，而且基本能夠吻合模型預(yù)測(cè)的交互力，如圖10-3，均勻的削皮力是實(shí)現(xiàn)均勻?qū)挾群秃穸认髌さ年P(guān)鍵。但從圖10-3可以看出，HybridIL的削皮交互力依然和圖10-1中的人手削皮交互力存在差異，這也是Force Hybrid DP性能變差的原因。 上述實(shí)驗(yàn)不僅驗(yàn)證了HybridIL方法的有效性，也為ForceMimic系統(tǒng)的成功應(yīng)用提供了有力支持。未來，穹徹智能&上海交大的盧策吾團(tuán)隊(duì)將繼續(xù)優(yōu)化HybridIL的預(yù)測(cè)模型和控制策略，探索更多潛在的應(yīng)用場(chǎng)景，推動(dòng)機(jī)器人技術(shù)在更廣泛領(lǐng)域中的發(fā)展與應(yīng)用。 ▍結(jié)論與未來展望 穹徹智能攜手上海交通大學(xué)盧策吾團(tuán)隊(duì)提出的ForceMimic系統(tǒng)，旨在推動(dòng)以力為中心機(jī)器人學(xué)習(xí)的發(fā)展。該系統(tǒng)融合了可擴(kuò)展的現(xiàn)場(chǎng)力-位數(shù)據(jù)采集系統(tǒng)ForceCapture，及創(chuàng)新的HybridIL算法，后者通過力交互控制基元精準(zhǔn)擬合模仿學(xué)習(xí)中的力-位置參數(shù)。西葫蘆削皮任務(wù)驗(yàn)證了其有效性。 ForceCapture為機(jī)器人學(xué)習(xí)人類精準(zhǔn)力-位技能提供了堅(jiān)實(shí)基礎(chǔ)，但與此同時(shí)，F(xiàn)orceMimic系統(tǒng)也仍存在進(jìn)一步提升的空間： 穹徹智能-上海交通大學(xué)盧策吾團(tuán)隊(duì)堅(jiān)信，通過這些努力，F(xiàn)orceMimic系統(tǒng)將在機(jī)器人學(xué)習(xí)和應(yīng)用中發(fā)揮更加廣泛和重要的作用。 來源：穹徹智能 |
|
|
