西風 發自 凹非寺
量子位 | 公衆号 QbitAI
一批人形機器人在美國舊金山街頭出沒,引得過往行人駐足觀望:
可能還去上了個課,從加州大學伯克利分校校門大搖大擺走出:
路線不對,踩着小碎步,穩健調頭:
或者不裝了,調什麽頭,直接倒着走:
在各種場景下都可以看到它們的身影:
于是乎," 機器人正在接管舊金山 " 的消息已經傳開了:
要不是視頻中還有人類出鏡,網友都要懷疑這是不是真的在舊金山:
這就是來自加州大學伯克利分校的人形機器人成果。研究人員提出了使用序列建模和動作預測的 Causal Transformer 模型。
使得人形機器人可以在室内外各種環境中穩健行走,應對不同地形,甚至還能背個書包,提袋垃圾:
怎麽做到的?
此前,盡管一些人形機器人在特定環境下表現良好,但廣泛存在泛化和适應新環境方面的問題。
來自加州大學伯克利分校的研究人員提出了運用 Causal Transformer 的方法。
這是一種特殊的 Transformer 模型,通過自回歸從觀察 - 動作曆史信息中預測下一個動作,也就是模型的輸出(預測的動作)隻依賴于其輸入(觀察 - 動作曆史信息)中的先前信息。
具體來說,在處理 " 觀察 - 動作對 " 時,模型會将每個 " 觀察 - 動作對 " 作爲一個 token,并通過自注意力機制來學習這些 token 之間的關系。在自注意力計算中,模型會爲每個 token 分配權重,這些權重反映了在預測當前動作時,序列中其他 token 的重要性。
由于 Causal Transformer 限制了自注意力隻能考慮前面的 token,它能夠捕捉到序列中的因果依賴,即當前動作的決策是基于之前觀察 - 動作的曆史信息。
通過這種方式,Causal Transformer 能夠使機器人在複雜和動态的環境中,在沒有未來信息的情況下做出适應性更強的決策。
訓練階段,研究人員使用 Isaac Gym 模拟器進行大規模并行訓練,模拟了機器人的剛體和接觸動力學。
爲了模拟機器人的閉鏈動力學,引入了 " 虛拟彈簧 " 模型。在模拟中随機化機器人的動态屬性、控制參數和環境物理屬性,以及添加噪聲和延遲到觀察中。
從模拟到現實的轉移方面,研究人員在機器人初創公司 Agility Robotics 提供的高保真度模拟器中驗證策略,該模拟器準确模拟了 Digit 機器人的動态和物理屬性。
經過實驗,Digit 機器人能夠在多種環境中可靠行走,展現出對外部幹擾的魯棒性:
以及在不同地形和載荷條件下的适應性:
△左,腳被絆住;右,下坡
順帶保持手臂擺動協調有力,不順拐:
Digit 人形機器人
再來介紹一下 demo 中的這款人形機器人—— Digit。
背後公司 Agility Robotics,前身爲俄勒岡州立大學的 Dynamic Robotics Laboratory。2022 年,獲亞馬遜投資。
Agility Robotics 的主要産品是以鴕鳥等鳥類爲發想的雙足步行機器人,主要研發成果包含 Cassie、Digit 兩個機型。
其中 Cassie 是隻有下半身的雙足機器人:
至于 Digit,像是下面這個,已經成爲亞馬遜 75 萬機器人員工中的一員,不過還處于測試階段,負責搬運亞馬遜标志性的黃箱子:
Agility Robotics 表示,将在今年向合作夥伴交付第一批 Digit,Digit 的初步應用包括倉庫和配送中心内的散裝材料處理,預計 2025 年全面上市。
他們最近還宣布開設了一家新機器人制造工廠 RoboFab™,聲稱第一年預計生産數百台機器人,之後每年産能最多可達 10000 台。Digit 也将在新工廠中上崗,進行搬運、裝載等工作。