The following article is from 機器人大講堂 Author 追蹤前沿動态的
國産機器人新突破：
兩隻各自獨立的機械臂，已經可以絲滑地打配合了！
不信你看這雙手擰瓶蓋：
擰完再端起杯子倒水：
活靈活現，如真人。
呐，還能搭把手幫程序員安裝好顯示屏：
甚至接過 " 同事 " 手裏的大箱子：
可以說是各種幾何和物理特性的物體都能穩穩 hold 住。
（下一步還能幹啥，不敢想）
這就是騰訊 Robotics X 實驗室的最新成果：通用雙臂協同靈巧操作框架。目前已登上機器人領域頂刊《IEEE Transactions on Robotics》。
既然是幹活，抗幹擾能力得有：
既然是雙手幹活，兩胳膊就不能 " 攪 " 一起：
下面這個不明覺厲的 " 椅子 360 ° 翻轉操作 "，就展現的是它全自主的" 雙臂避自碰 " 能力。
最後，偶爾遇到人類調皮，它也可以輕松 get，完成意圖識别、進行動态交互：
（給我給我啊喂，算了我收手）
具體技術細節，這就揭秘～
人型雙臂系統通用性實現
通用人形機器人無疑是近年來機器人與 AI 交叉領域的研究熱點。
其中的人形雙臂系統直接承載着這類機器人操作任務的執行能力。
任意抓取和操作具有各種幾何和物理特性的任意物體則是這類系統通用化的技術體現。
而現有研究工作大多專注解決某一特定層級的問題，例如環境 - 物體的感知、推理與策略生成、機器人系統的規劃或操作控制。
并且方案通常與特定的被操作物體或任務強相關，難以遷移和泛化。
騰訊 Robotics X 實驗室指出，要想實現這樣的通用化雙臂系統，需要解決現有研究工作中三個關鍵的共性問題。
首先，如何基于視覺感知實現未知物體的雙臂協同最優抓取。
其次，如何确保工作空間高度重疊的雙臂機器人在動态協同過程中的系統安全性。
最後，如何将豐富的人類技能轉移到僅擁有有限跟蹤接口類型的機器人系統中。
在此，騰訊 Robotics X 實驗室提出的包含兩個相互耦合關聯的子框架：
1、基于學習的靈巧可達感知子框架采用端到端評估網絡和機器人可達性概率化建模，實現對未建模物體的最優協同抓取。
2、基于優化的多功能控制子框架則采用層級化的多優先級優化框架，并通過嵌入基于學習生成的輕量級距離代理函數和黎曼流形上的速度級跟蹤控制技術。
同時實現了高精度雙臂避自碰和高拟真雙臂操作度橢球跟蹤，保證了雙臂系統的本質安全并開放了操作度橢球跟蹤接口。
此外，該研究還首次系統性解決了基于視覺感知的未知物體雙臂協同最優抓取，實現了工作空間高度重疊的雙臂機器人本質安全并開放了可用于人機技能遷移學習的雙臂協同操作度橢球跟蹤接口。
最終，該系統在感知層、雙手抓取、協同操作規劃和底層控制等方面提供了豐富的接口，具有很高的通用性、可擴展性和兼容性。
技術細節如下：
靈巧可達感知子框架
圍繞靈巧可達感知子框架，爲實現對未知物體的雙臂協同抓取，需要爲雙臂系統自主生成可執行的靈巧最優抓取對。
研究人員從數據集生成，抓取質量評估網絡和雙臂機器人可達性概率化建模三個層面着手，系統性設計了靈巧 - 可達感知雙臂抓取子框架，實現視覺系統感知到的物體 3D 點雲到靈巧 - 可達最優的雙臂 6D 抓取位姿對之間的端到端映射。
1、雙臂靈巧感知抓取數據集
爲建立準确的輸入點雲與輸出雙臂抓取質量之間的映射關系并有效訓練抓取評估網絡，研究人員提出了業界首個大規模靈巧性感知的雙臂抓取合成數據集（DA2 Dataset）。
該數據集包含 6327 個物體的 Mesh 和超過 900 萬組抓取對，每一組抓取都采用抓取奇異性 - 抓取穩定性 - 抓取力兼容性三個指标做了标注。
2、雙臂協同抓取質量評估網絡
實際場景中一般可采用例如啓發式采樣等技術在感知到的物體 3D 點雲上生成候選抓取對，爲實時在線評估這些候選抓取對的質量并輸出最優解。
研究人員設計了面向雙臂協同抓取的質量評估網絡 Dual-PointNetGPD，并利用 DA2 數據集進行訓練。
相較于基于簡化接觸力模型和依賴精确物體幾何特征的傳統分析方法而言，基于學習的 Dual-PointNetGPD 可以直接處理有噪聲的 3D 點雲并對候選雙臂抓取構型的靈巧性和可靠性進行評估。
因而對廣泛存在的視覺感知噪聲具有更高的魯棒性。
3、雙臂可達性建模與最優抓取分配
Dual-PointNetGPD 從視覺感知的角度輸出抓取對質量評估結構，針對特定的雙臂機器人系統，還需要從機器人本體角度考慮候選抓取對在機器人操作空間中的可達性問題和抓取對在雙臂之間的分配問題。
研究人員采用單位四元數高斯混合模型建模技術對雙臂 6 自由度工作空間進行建模并設計了概率最大化分配策略，實現了雙臂抓取可達性與抓取靈巧性評估的融合統一。
多功能協同操作控制子框架
針對多功能協同操作控制子框架，具備協同抓取未知物體的能力是實現雙臂通用化的第一步，而具備本體安全感知的協同操作運動規劃是銜接通用抓取并實現通用操作的第二步。
由于人形雙臂機器人系統的兩條機械臂的工作空間往往高度重疊，對于執行雙臂動态任務的機器人本體而言，避自碰撞需要放在運動規劃中的最高優先級，在提升避碰精度的同時還需要減小在線計算代價以保證避碰實時性。
此外，作爲重要的操作性能指标和機器人技能表征之一，雙臂協同操作度橢球需要被連續控制以實現對機械臂構型的實時優化，從而提高雙臂系統的操作靈巧度，避免因操作奇異性導緻的任務失敗。
研究人員爲此設計了一個新型的多功能協同操作控制子框架。
該框架基于層級化的多目标多優先級優化框架，将學習得到的輕量級雙臂最小距離代理函數和黎曼流形速度跟蹤任務以不等式約束的形式嵌入到不同的優先級中。
從而實現了雙臂操作運動規劃的本質安全性與人機技能遷移學習中雙臂構型優化的高拟真性。
1、雙臂高精度避自碰
△ 工作空間高度交疊的人形雙臂機器人
獲取精确可靠的描述雙臂碰撞邊界的最小距離函數是将避碰約束嵌入到多優先級優化框架中并實現雙臂避自碰的關鍵一步。
由于雙臂構型空間維度高且工作空間相互交疊，使得其中的安全子空間與碰撞子空間分布嚴重失衡而難以分割開。
研究人員提出了一種新穎的基于主動學習的采樣方法，用以生成大規模的、平衡的、信息豐富的雙臂碰撞數據集。
然後通過機器學習的方式對雙臂最小距離關于雙臂構型的映射關系予以拟合，從而高效獲取高精度的最小距離代理函數。
△基于主動學習的采樣算法示意
2、基于黎曼幾何的雙臂協同操作度橢球跟蹤
除避自碰以外，操作度橢球跟蹤因其與操作技能和操作構型強相關，也是雙臂系統控制中需要重點處理的問題。
雙臂操作度橢球由對稱正定矩陣（SPD）來描述，研究人員通過設計流形空間中的速度前饋項并結合誤差控制原理，實現了雙臂操作度橢球的實時跟蹤以及跟蹤誤差的全局指數收斂，并給出了完整的理論分析與證明。
雙臂操作度橢球跟蹤任務以等式約束的形式嵌入到了多優先級優化框架中并以雙臂操作度橢球跟蹤接口的形式呈現。
3、多優先級優化與控制器設計
研究人員采用協同任務空間變量（雙臂絕對運動與雙臂相對運動）來描述所有的雙臂協同 - 非協同 / 同步 - 異步任務，并基于多目标多優先級框架設計了雙臂通用協同操作控制的系統框架。
該框架将上述雙臂避自碰，雙臂操作度橢球跟蹤等多任務進行有機融合在一起，從而在運動規劃與控制層面爲雙臂通用化掃清了障礙。
協同抓取、避自碰樣樣出色
爲驗證雙臂最優協同抓取，雙臂避自碰以及雙臂協同操作度橢球跟蹤方面的有效性，研究人員就所設計的 Dual-PointNetGPD 網絡、學習生成的雙臂最小距離代理函數以及 SPD 流形跟蹤誤差進行了定量分析。
1、雙臂最優協同抓取 研究人員在物理仿真引擎中開展了大規模消融實驗，結果表明所設計和訓練的 Dual-PointNetGPD 網絡有效提升了大尺寸未建模物體抓取任務中的雙臂協同抓取成功率。
2、雙臂避自碰
主要從雙臂碰撞數據集生成與雙臂最小距離代理函數兩個維度做分析，考慮到雙臂構型空間是 14 維，以 20-30 ° 爲采樣步長進行低精度采樣，每一維分成 10 等分，需要的數據集規模也達到了 1014。
研究人員使用基于主動學習的采樣技術生成雙臂碰撞數據集，200 萬數據規模的前提下即可實現 95% 以上的高預測精度，相較于目前在非平衡數據集學習中廣泛使用的 b-SMOTE 等技術而言具有更高的數據效率和預測精度。
△平均預測誤差與預測準确性分析
此外，基于學習訓練生成的雙臂最小距離代理函數計算一次雙臂最小距離的時間約爲 0.072ms, 顯著低于被廣泛使用的 FCL 算法庫所需的 5.36ms，且方差更小。
這極大地提升了該方法在實際部署時的實時性并保證了整個雙臂協同運動規劃的穩定可預測。
此外，代理函數展現了優異的連續性和可微性，這對于将避自碰以不等式約束的形式嵌入到平滑多目标優化框架中非常重要。
△表計算時間對比分析
△平滑性對比分析
3、雙臂協同操作度橢球跟蹤
通過消融實驗驗證了所設計并嵌入到多目标優化框架中的操作都橢球跟蹤約束有效地降低了雙臂實際構型與期望構型之間的差異，驗證了 SPD 流形跟蹤接口的有效性。
4、雙臂協同翻轉實驗：
爲驗證自主避自碰能力，研究人員設計了需要極限扭轉的協同翻轉實驗中。
在該實驗中，雙臂系統自主完成了互纏繞無碰軌迹運動規劃，在不改變抓握構型的前提下實現了對椅子 360 ° 翻轉操作。
物體的絕對運動在回轉方向上始終保持高精度跟蹤，在其他自由度上則動态地自主松弛，雙臂相對運動誤差低于 0.003 （m 或 rad），避碰安全距離被高效壓縮到了 2.5 cm。
同時整個多功能協同操作控制子框架在采用機械臂高精度網格模型下的典型計算時間爲 8.318 ms，解決了高精度和高實時性不可同時實現的困境。
以上結果也表明各級任務嚴格按照所給定的優先級執行。
在 long-horizon 重排實驗中，雙臂機器人系統連續抓取和操作人居環境中常見的桌面書架，儲物籃和顯示器支架這 3 個未建模物體。
實驗結果表明雙臂機器人在所設計的通用框架下能協同抓取大尺寸物體并能在執行複雜協同操作任務過程中全自主高精度避自碰。
總結：
可以看到，該研究首次系統性解決了基于視覺感知的未知物體雙臂協同最優抓取，實現了工作空間高度重疊的雙臂機器人本質安全，并開放了可用于人機技能遷移學習的雙臂協同操作度橢球跟蹤接口。
這一自上而下研究具身智能并至下而上研究機器人操作規劃與控制的工作，有助于彌合 AI 與 Robotics 之間的技術鴻溝，提升基于 AI 生成的操作策略在物理世界中執行的穩定性和可靠性，加速雙臂系統全自主通用化的到來。
論文地址：
https://ieeexplore.ieee.org/document/10449470
