懶得打掃房間，那就直接交給機器人來做吧。
想吃零食了，機器人也能幫你服務，薯片和紙巾都給你貼心備好。
而且，這個機器人隻需要一個單一的預訓練模型，就能從不同的感官輸入 （如視覺、文本等）中生成命令，來執行多種任務。
要知道，在以往機器人執行命令時，處理這些不同的任務時， IO 規範、神經網絡體系結構和目标等都是不一樣的。
現在，這個問題谷歌解決了，他們研究出了适用于機器人領域的 Transformer 模型：RT-1，甚至被人戲稱為 RoboGPT。
△圖源：推特 @Jim Fan
更重要的是，RT-1 代碼已開源！
具體原理
先來整體看看 RT-1，它執行任務主要依靠的就是：7+3+1。
所謂7，是指它的手臂有7 個自由度，分别是 x，y，z，滾動，俯仰，偏航，手爪開口。
3是指基礎運動的三個維度，即在地面運動時的 x，y，偏航。
1則指 RT-1 的整體控制，即切換這三種模式：控制手臂，基礎運動，或終止任務。
△圖源：Everyday Robots
而 RT-1 執行任務時，它的底層邏輯還是純粹的監督式學習，要做好監督式學習，就得具備兩個條件：
豐富的數據集 和強大的神經結構。
首先是數據集，RT-1 是在一個大規模的、真實世界的機器人數據集上進行訓練的，可以用 4 個數字來概括：13 萬、700+、13、17，分别表示：
包括 13 萬個片段；
涵蓋 700 多個任務；
使用了 13 個機器人；
曆時 17 個月。
然後就是 RT-1 的結構了，它執行任務的過程如下圖所示。
具體來說，圖像和文本先通過 ImageNet 預訓練的卷積神經網絡（EfficientNet）進行處理。
在這其中，為了确保文本和圖像同路能夠很好地被整合在一起，RT-1 還使用了 FiLM 層，這是一種通過語言嵌入來調節視覺活動的經典技術。
這樣一來，RT-1 便能很好地提取與手頭任務相關的視覺特征。
然後這些視覺特征會被 Token Learner 模塊計算成一組緊湊的 token傳遞給 Transformer，這使得機器人的推理速度能夠提高 2.4 倍以上。
接下來Transformer會來處理這些 token 并産生離散化的操作 token，而操作 token 便是一開始說的那個 7+3+1 了。
通過控制手臂，基礎運動以及模式便能夠執行任務了。
在執行任務的整個過程中，RT-1 還會以3Hz的頻率執行閉環控制和命令操作，直到産生終止操作或用完預先設置的時間步驟數。
不過話說回來，既然這個機器人能夠執行多任務，那它執行通用任務時的能力到底如何呢？
研究人員分别測試了 RT-1 對幹擾物數量（第一行）、不同背景和環境（第二行）以及真實場景（第三行）的魯棒性。
并與其他基于模仿學習的基線進行比較，結果如下圖所示（第一項為訓練期間的表現）。
顯而易見，在每個任務類别中，RT-1 都明顯優于以前的模型。
研究團隊
這個機器人來自谷歌，研究團隊的成員也比較龐大，分别來自三個研究團隊：
首先是Robotics at Google，它是 Google Research 下的一個細分領域團隊，目前正在探索 " 如何教機器人可轉移的技能 "。
并且他們也在不斷公開其訓練的數據，以幫助推進這一領域的最先進水平。
然後是Everyday Robots ，它是 X- 登月工廠的一個細分領域團隊，和谷歌團隊一起工作，目前他們正在制造一種新型機器人，一個可以自學的，可以幫助任何人做任何事情的通用機器人。
還有就是 Google Research，它是 Google 公司内部進行各種最先進技術研究的部門，他們也有自己的開源項目，在 GitHub 公開。
項目地址：
https://github.com/google-research/robotics_transformer
論文地址：
https://arxiv.org/abs/2212.06817
參考鍊接：
https://robotics-transformer.github.io/
