倒茶、疊衣服、整理書籍、丢垃圾，現在的家務機器人幹活真是越來越熟練了。
不過，也不是每個家務機器人都能做到像動圖裏那麽流暢的。
熟練家務的背後，是李飛飛團隊琢磨出來的一種新辦法。
他們把任務動作拆解後标記出幾個關鍵點，再給到具體規則讓機器人知道這些點之間有什麽聯系，要怎麽操作比較好。除此之外，機器人還能自主學習，越練習越厲害。
以倒茶這個動作爲例，機器人會先用攝像頭确定茶杯茶壺等的位置、形狀等要素，再識别出關鍵點，比如茶杯的中心點和把手的中心點，ReKep 會給機器人編寫出一系列規則，告訴它要用什麽角度、怎麽拿怎麽傾倒、用多大力氣等，機器人隻要按照規則行動就能成功倒茶了。
不得不說，這麽一個簡單的動作想讓機器人做好是真的是太難了。要是沒有 ReKep 技術，想看到機器人熟練地幹各種家務活還不知道要等到猴年馬月。
畢竟今年三月份的時候，李飛飛團隊的家務機器人還是這樣的，隻會擦擦桌子切個水果：
而半年後的今天，就已經進化成全能選手了：
目前，李飛飛團隊關于 ReKep 技術的論文已在 arXiv 公開，代碼也已開源。
論文标題：ReKep: Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation
論文地址：https://arxiv.org/pdf/2409.01652
項目網站：https://rekep-robot.github.io/
項目代碼：github.com/huangwl18/ReKep
論文概述
研究問題和動機
李飛飛團隊旨在解決與機器人操作任務相關的挑戰，這些任務涉及多個空間關系和時間依賴階段，需要對複雜的空間和時間關系進行編碼。
他們希望開發一個廣泛适用的框架，能夠适應需要多階段、野外環境、雙手操作和反應行爲的任務，通過基礎模型的進展在獲取約束方面具有可擴展性，并能夠實時優化以産生複雜的操作行爲。
難點與挑戰
現有的使用剛體變換表示操作任務約束的方法缺乏幾何細節，要求預定義的物體模型，并且無法處理可變形物體。
在視覺空間中直接學習約束的數據驅動方法也在收集訓練數據時面臨挑戰，因爲約束的數量在物體和任務方面呈組合增長。
技術創新
李飛飛團隊提出了一種名爲關系關鍵點約束（ReKep）的方法，用于機器人操作。
ReKep 将操作任務編碼爲約束，連接機器人與其環境，而無需手動标注。該方法利用 Python 函數将一組語義上有意義的三維關鍵點映射爲數值成本，從而能夠表示複雜的空間和時間關系。
該框架旨在通過大型視覺模型和視覺 - 語言模型自動生成約束，實現從自然語言指令和 RGB-D 觀測中高效地指定任務。
他們還提出了一種算法實例，可以實時高效地解決優化問題。
真實實驗
實驗涉及多個任務，包括倒茶、回收罐、整理書籍、打包盒子、折疊衣物、裝鞋盒和協作折疊等。這些任務被設計來測試系統在不同方面的性能，如空間和時間依賴性、對環境的适應性、雙手協調和與人類的互動。
輪式單臂平台和固定式雙臂平台的成功率
兩個機器人平台在外部幹擾下的成功率
ReKep 用于折疊不同類别服裝的新型雙臂策略及其成功率
實驗結果顯示，ReKep 在多種任務上的成功率較高，證明了其在自動化操控任務中的潛力。成功率根據任務的不同而有所差異，但總體上表現良好。
技術解讀
關系關鍵點約束（ReKep）
首先，他們定義了單個 ReKep 實例，并且假設已經指定了一組 ? 個關鍵點。每個關鍵點 ??∈ ℝ 3 指的是場景表面上的一個 3D 點，其坐标依賴于任務語義和環境（例如，手柄上的抓取點，壺嘴）。
本質上來說，一個 ReKep 實例編碼了關鍵點之間的一個期望的空間關系，這些關系可能屬于機器人手臂、物體部分或其他代理。
然而，一個操作任務通常涉及多個空間關系，并且可能具有多個時間上依賴的階段，每個階段都涉及不同的空間關系。爲此，他們将任務分解爲 ? 個階段，并爲每個階段 ?∈{1,…,?} 使用 ReKep 來指定兩類約束：
子目标約束
路徑約束
其中 ?sub-goal ( ? ) 編碼階段 ? 結束時需要達到的關鍵點關系，而 ?path ( ? ) 編碼階段 ? 内部需要滿足的關鍵點關系。
如下圖所示的傾倒任務由三個階段組成：抓取、對齊和傾倒。
階段 1 的子目标約束拉動末端執行器向茶壺手柄靠近。階段 2 的子目标約束指定壺嘴需要位于杯口上方，階段 2 的路徑約束确保茶壺直立，以避免傾倒時溢出。最後，階段 3 的子目标約束指定傾倒角度。
操縱任務作爲 ReKep 約束優化問題
他們将末端執行器姿态表示爲 e∈ SE（3），将操控任務表述爲一個優化問題，目标是找到一系列滿足 ReKep 約束的末端執行器（end-effector）姿态，并将控制問題表述如下：
對于每個階段，優化算法需要找到滿足子目标約束的末端執行器姿态，以及實現這些子目标的路徑。
分解與算法即時實例化
爲了實時求解優化問題，他們采用了分解方法，僅優化下一個子目标及其對應的路徑。
子目标問題：首先解決子目标問題，确定當前階段的末端執行器目标姿态。
路徑問題：在獲得子目标姿态後，解決路徑問題，規劃從當前姿态到子目标姿态的軌迹。
回溯：如果發現任何子目标約束不再滿足，系統可以回溯到之前的階段進行重新規劃。
關鍵點提議和 ReKep 生成
爲了使系統能夠在給定自由形式任務指令的情況下執行野外任務，他們設計了一個使用大型視覺模型和視覺語言模型進行關鍵點提議和 ReKep 生成的管道，并分成了兩個部分：
關鍵點提議
使用大型視覺模型（LVM），如 DINOv2，來提取場景中的特征，并利用這些特征來識别潛在的關鍵點。這些關鍵點通常是場景中具有語義意義的 3D 點，例如物體的邊緣、角落或特定物體部分的中心。
ReKep 生成
結合關鍵點和任務指令，使用視覺 - 語言模型（VLM）來生成 ReKep，這些約束将用于指導機器人的動作規劃和執行。這一步驟利用了視覺模型對場景的理解以及語言模型對指令的解釋能力。
團隊成員
李飛飛
李飛飛博士是斯坦福大學計算機科學系首任紅杉教授，也是斯坦福以人爲本的人工智能研究所的聯席主任，曾擔任擔任谷歌副總裁和首席科學家，在多家上市公司或私營公司擔任董事會成員或顧問。
李飛飛主導的斯坦福 AI 實驗室、斯坦福視覺與學習實驗室 ( SVL ) 和斯坦福以人爲本人工智能研究院湧現出大量優秀人才，包括 OpenAI 聯合創始人 Andrej Karpathy、國内内第一個堅探索具身智能的盧策吾、前 Google AI 中國中心總裁李佳、前阿裏自動駕駛掌舵人王剛等。
她目前的研究興趣包括認知啓發式人工智能、機器學習、深度學習、計算機視覺、機器人學習和人工智能 + 醫療，尤其是用于醫療保健的環境智能系統。
Wenlong Huang
Wenlong Huang 是斯坦福大學計算機科學專業的博士生，由李飛飛指導，也是斯坦福視覺與學習實驗室 （SVL）的成員。他于 2018 年獲得加州大學伯克利分校計算機科學學士學位，指導老師是 Deepak Pathak、Igor Mordatch 和 Pieter Abbeel。
他的研究目标是賦予機器人廣泛的泛化能力，使其能夠執行開放世界操控任務，尤其是在家庭環境中。研究興趣包括：
開發能夠充分利用互聯網規模數據或基于這些數據進行訓練的模型的抽象概念
開發能夠表現出廣泛泛化行爲的運動技能
Chen Wang（王辰）
Chen Wang 是斯坦福計算機科學學院的博士生，導師是李飛飛和 C. Karen Liu。他本科就讀于上海交通大學計算機科學專業，是第一批加入盧策吾團隊研究機器人具身智能的學生之一。
他的研究目标是制造出具有與人類一樣的靈活性和處理日常任務能力的機器人，因此專注于機器人學習，以實現靈巧操作、模仿人類動作以及長期規劃和控制。
Yunzhu Li
Yunzhu Li 現在是哥倫比亞大學計算機科學助理教授，曾是斯坦福視覺與學習實驗室 ( SVL）的博士後，與李飛飛、Jiajun Wu 一起工作。北京大學本科畢業後，他在麻省理工學院計算機科學與人工智能實驗室（CSAIL）獲得博士學位，導師是 Antonio Torralba 和 Russ Tedrake。
目前他在機器人感知、交互和學習實驗室（RoboPIL）進行機器人技術、計算機視覺和機器學習的交叉研究，專注于機器人學習，特别是直觀物理學、具身智能、多模式感知三個方向，旨在顯著擴展機器人的感知和物理交互能力。
Ruohan Zhang
Ruohan Zhang 是斯坦福視覺與學習實驗室 ( SVL ) 的研究員，和李飛飛、Jiajun Wu、Silvio Savarese 一起工作。他曾在在德克薩斯大學奧斯汀分校獲得博士學位，指導教授是 Dana Ballard 和 Mary Hayhoe。
他的長期研究興趣是以人爲本的人工智能：理解人類智能以開發受生物啓發的人工智能算法，以及使人工智能與人類更加兼容。最近專注于以人爲本的機器人技術：通過數據驅動的方法開發可增強人類福祉的機器人解決方案（系統和算法）。
