斯坦福李飛飛、吳佳俊帶隊讓《阿凡達》意念操控照進了現實！
現在，隻需要動動腦子就能操縱機器人。
想吃壽喜鍋不用自己動手，切菜備菜、倒入食材，機器人一氣呵成：
做飯、烹茶樣樣都行：
忙完順便還能把桌面清理了：
你以爲這就完了？這個機器人玩起遊戲來也是一把好手：
甚至還能幫你熨衣服：
關鍵是，旁邊的操縱者隻需要坐在那裏 " 冥想 " 即可，無需手搖搖杆。
能做到這些，都要得益于研究團隊最新開發的腦機接口系統——NOIR。
這是一個通用的智能系統，使用者無需佩戴侵入性設備，機器人可以從腦電信号中解碼人類意圖。
并且它還配有一個 " 技能庫 "，可以随意組合各種技能完成人類指令，輕松應對高達20 項日常任務。
要知道，常規腦機接口系統一般隻專注于一項或幾項任務。
目前這項研究已收錄于機器人頂會 CoRL 2023：
圍觀網友一口一個哦買噶：
哦買噶，遊戲規則改變者！
清華叉院助理教授許華哲也來評論區捧場：
哦買噶，賽博朋克！
這個 NOIR 系統究竟是什麽？機器人爲何能完成這麽多任務？
20 項任務輕松拿下
正如上文所說，這個機器人能幹的事兒多着呢。
幹酪撒粉這種細活也能輕松完成：
拆包裹、整理桌面這種活就更不在話下：
而其背後的這個 NOIR 系統，簡單來說可以分爲兩部分：模塊化解碼管線、有原始技能庫的機器人系統。
主打一個讓機器人自動學習預測人類意圖。
具體來說，模塊化管線将解碼人類意圖過程分爲三個模塊：
1）選擇什麽對象？
方法是在屏幕上顯示任務場景，利用對象的閃爍刺激産生 SSVEP 信号；每個對象以不同頻率閃爍，人類注視某對象時，腦電信号中該頻率成分增強。
然後用 Canonical Correlation Analysis ( CCA ) 方法，分析不同頻率的相關性，确定人類注視的對象。
2）如何交互？
這部分是通過提示人類想象執行某些技能 ( 左手、右手等 ) 産生運動意象信号，然後使用濾波和 Common Spatial Pattern ( CSP ) 算法預處理信号。
最後利用 Quadratic Discriminant Analysis ( QDA ) 進行 4 類識别，确定技能選擇。
3）在哪交互？
人類想象控制光标的左右運動來選擇技能執行的具體參數。同樣通過 CSP 和 QDA 處理并解碼腦電信号，判斷人類是左還是右。
研究人員還設置了安全機制，采用肌肉緊張信号來确認或拒絕腦電信号解碼結果，避免解碼錯誤導緻的風險。
之後，機器人配備了一系列參數化的基本技能，例如 Pick（x，y，z）、Place（x，y，z）、Push（x，y，z，d）。
可以組合使用這些技能來完成人類指定的各種任務。
在這個過程中，解碼人類意圖既費時又費錢。所以研究團隊選擇讓機器人用基于檢索的少樣本學習，來學習人類的對象、技能和參數選擇。
這樣一來，在給定一個新的任務時，機器人會在記憶中找到最相關的經驗，并選擇相應的技能和對象。
舉個例子，假設人類在執行抓取杯子的任務，選擇了在杯子的某個特定位置抓取（比如杯子的把手）。機器人會記錄下當時的圖像，以及人類選擇的抓取點。
在之後的任務中，當機器人看到新的杯子圖像時，它會首先根據預訓練模型來分析這個新圖像，提取圖像的語義特征。
然後計算新圖像的特征和之前記錄的訓練圖像特征之間的相似度，找出最相似的一個點，作爲它預測的抓取位置。
通過這種匹配圖像特征的方式，機器人隻需要人類示範一次參數選擇，就可以在未來自己預測參數，而不需要人類每次都完全重新選擇一遍。
使用 NOIR 系統，3 名人類參與者完成了上面我們所介紹的 20 項日常活動任務，其中包括 16 個桌面操作任務和 4 個移動操作任務。
在測試中，每個任務平均需要嘗試 1.8 次就能成功，平均完成時間爲 20.3 分鍾，這其中主要是人類決策和解碼耗時，占總耗時的 80%。
實驗各階段的解碼準确率和其它腦機接口研究差不多，但使用這種方法可以将對象和技能選擇時間降低 60%，從 45.7 秒縮減到 18.1 秒。
作者簡介
除了李飛飛教授、吳佳俊教授帶隊，論文共同一作有四位，分别是：
Ruohan Zhang
Ruohan Zhang 是斯坦福視覺與學習實驗室（SVL）博士後研究員，同時也是 Wu Tsai Human Performance Alliance 研究員。
主要研究方向爲機器人技術、人機交互、腦機接口、認知科學和神經科學。
Sharon Lee
Sharon Lee 是斯坦福大學視覺與學習實驗室（SVL）研究生研究員。
Minjune Hwang
Minjune Hwang 是斯坦福大學計算機科學研究生，于加州大學伯克利分校獲得計算機科學和統計學本科學位，曾在亞馬遜、微軟和蘋果進行研究。
Ayano Hiranaka
斯坦福大學研究生，本科畢業于伊利諾伊大學香槟分校。
論文鏈接：https://arxiv.org/abs/2311.0145
參考鏈接：
[ 1 ] https://twitter.com/drjimfan/status/1722674119794434187
[ 2 ] https://twitter.com/ruohanzhang76/status/1720525179028406492
