圖片來源 @視覺中國
文 | 追問 NextQuestion
腦機接口作爲一項新奇的技術,正以驚人的速度向前發展、更新叠代。它将人類的思想和機器交織在了一起,開辟了一種全新的可能。
本期訪談由陳光博士主持,他同時也是 AI 領域的知名博主 @愛可可 - 愛生活,嘉賓爲上海交通大學機器人研究所的助理教授李廣晔博士。
本文通過追問形式呈現會議中的精彩内容,希望能給讀者一些啓發和思考。
用 3 個問題快速了解 " 腦機接口 "
@陳光
什麽是腦機接口?腦機接口是如何運作的?
@李廣晔
在媒體上,腦機接口是近幾年比較熱門的話題。但從實驗室層面,相關研究從幾十年前就已經開始了。腦機接口(Brain Computer Interface 或 Brain Machine Interface)實際上就是獲取大腦的神經信号,通過特定的數學模型對腦電信号進行解碼來理解大腦的意圖,再将這種意圖轉化成機器控制指令,實現大腦與外部設備的交互。例如,被試通過腦機接口打字和控制光标、機械臂運動。
這種大腦意識和信号之間的關聯是有明顯的對應關系,還是需要通過努力想象才能體現出一個強的腦電特征信号呢?
腦電信号實際上是一個很微弱的信号,以控制機械臂爲例,盡量努力控制自己手臂運動的動作信号可能會更強一些,但目前也有一些研究是基于運動想象,而不是盡量努力地讓身體輸出運動控制相關的信号來設計腦機接口範式。
這麽說,意念和思想往往是更複雜、混沌的一種信号,所以腦機接口的解碼不是執行一個生成式的任務,而是執行一個選擇分類的任務(例如我想選擇向左、向右運動)?
是的,這種信号相對來說也是比較清晰的。從技術層面上,提取迅速變化的大腦意圖目前還是比較困難的。
腦機接口的前世今生
追問溯源,最早時期腦機接口的發展是怎樣的?人們第一次想做這類嘗試時大概是怎樣一種情況?得到了怎樣的結果?
腦電信号最早可以追溯到 1929 年,德國的一位精神科醫生首先在人類大腦頭皮表面記錄到了腦電信号。1969 年,真正出現了一個比較具有代表性的腦機接口研究,美國國家衛生研究院(NIH)的 Fetz 在猴子大腦運動區植入電極,将電極與儀表盤連接,通過對猴子上采集到的大腦信号分析解碼,如果猴子控制儀表盤指針達到目标區域,就給猴子一個獎勵,這個實驗相對來說是腦機接口上的第一次嘗試。在這個過程中,猴子也學會了通過自己的腦電信号控制儀表盤來獲取獎勵,這隻猴子從某種意義上也是腦機接口的第一個被試。最早在 1982 年,出現了第一個運動控制腦機接口的工作。研究人員在猴子大腦皮層運動區植入電極,發現當猴子做不同方向的伸手運動時,記錄到的神經元放電模式是不同的。研究人員則可以基于這種不同的神經編碼模式,去反向解碼猴子在做什麽運動。
這些早期的實驗爲腦機接口帶來了突破性的進展,雖然實驗範式比較原始,卻也爲後來的研究人員提供了很多啓發,奠定了堅實的基礎。那麽,在早期的研究階段,人們面臨哪些困難與挑戰?
早期最主要的挑戰是對大腦神經機制不夠清楚,以及後來逐漸發現了一些對應的現象,卻不清楚該如何運用這些知識。由于當時硬件條件的限制,早期在電極類型、采集通道、采樣頻率上都有較多的困難。并且由于早期計算機技術不太先進,當時在采集過程中信号流失或延遲也比較嚴重,解碼算法也相對局限。
信号采集設備和技術、信号解碼、排除噪聲幹擾,這些問題到今天依然是開展腦機接口研究的挑戰。随着時間推移,新一代的技術給腦機接口研究帶來了怎樣的推動作用?
首先,我認爲腦機接口技術的演化非常依賴于信号采集技術的發展。早期的腦機接口采用的是非侵入式的方法(例如在頭皮表面貼電極),後來出現了更好分辨率和更高靈敏度傳感器,使獲得的信号質量得到了改善,讓前端可以得到更豐富的信息。後來也逐漸發展了侵入式電極,這些電極距離神經元更近,可以獲取到更加清晰的神經信号。并且逐漸出現了更高通道的電極,甚至可以達到上千通道,可以獲得更大空間範圍的腦電信息。信号采集技術的發展和腦機接口技術的發展是息息相關的。
然後是信号處理和解碼算法的發展。也就是我們拿到信号數據,該怎麽去解釋這些數據。在過去,可能采用的是一些簡單的線性方法,随着計算機技術發展,濾波方法、特征提取、深度學習算法的發展有效地提高了腦機接口的性能和準确性。接着就是應用拓展方面,以前的研究更多在實驗室層面,目前逐漸在臨床或者人工智能領域得到了應用,例如腦卒中的康複,帕金森病、兒童多動症、睡眠障礙的監測與幹預。
最後就是可穿戴性方面。早期的腦機接口設備比較笨重,現在逐漸往更便攜甚至無線的可穿戴設備發展。總的來說,腦機接口就是在信号采集技術、信号處理和解碼方法、應用拓展和可穿戴性這幾個方面上逐漸地不斷發展進步。
在技術發展領域存在一種說法叫 " 飛輪效應 "。如李老師剛才介紹的,腦機接口在信号獲取、處理、應用等方面得到了不斷的發展,并且在各個技術層面形成了正反饋,即每一環都會促進其他各個環節的大幅提升,也給其他環節創造了需求。那麽,目前腦機接口領域是否進入了一個準快速發展的 " 飛輪時期 "?
近幾年,諸如馬斯克的 Neuralink 這類美國科技公司的發展,對于腦機接口帶來了很大的宣傳效果,其公司的設備在領域内也是非常具有創新性的。并且近幾年,學術界和産業界合作緊密,也使得腦機接口領域得到了快速發展。
近幾年,人工智能的技術在腦機接口中扮演着怎樣的一個角色?爲這個領域做了怎樣的貢獻?
目前機器學習、深度學習之類的算法在腦機接口中主要應用在以下兩個方面:
1、腦電信号處理上,腦電信号通常具有高維度性、複雜性,目前很多深度學習算法雖然是一個 " 黑箱子 " 模型,但相比之前手動提取特征,提取原始信号特征的效果很好,可以提高腦機接口的準确性、穩定性、快速性。
2、改善人機交互和用戶體驗。比如一些自然語言處理、計算機視覺或者情感識别之類的技術融合到腦機接口系統中,這樣計算機可以更好地理解用戶的意圖和情感,大幅度提升用戶體驗。
剛剛我們讨論了最早期腦機接口發展曆程中的一些實驗範式,那後續的發展演變中還有哪些裏程碑式的節點?
剛剛我們談到了 1929 年和 1969 年的兩個腦機接口的代表性研究成果,之後的一些裏程碑式成果如下圖所示。
▷圖片由李廣晔博士提供
可以看到,從動物到人,再逐漸到人實驗上的精細化控制,以及信号維度上的提高、多模态感覺信号的融合上,這些節點都給我們帶來了不少的驚喜。并且越往後,這些節點發生的節奏是逐漸加快的。
展望:腦機接口離我們有多遠?
腦科學和神經科學的知識是否已經融合到人工智能等其他領域上,目前對于腦科學的理解和我們對于腦機接口技術、功能的進步有怎樣的聯系?将來有什麽趨勢?
腦機接口屬于一個高度交叉的學科和技術,實際上我們對大腦信号的理解是腦機接口的基礎。信号采集技術的發展促進了腦科學的進步,而腦科學的進步反過來又促進了腦機接口的發展。神經科學的探究可以幫助我們更好地了解大腦的工作原理。比如過去我們隻采集運動區的信号來做運動控制系統,後來發現前額葉、頂葉等其他腦區也在運動過程中發揮作用。基于這些腦科學的知識,将來我們可以考慮構建多腦區的聯合采集腦機接口系統。
近幾年腦機接口技術的突破性發展有哪些?對于未來有什麽影響?
第一個方面,我認爲近幾年領域内的突破主要體現在更大空間範圍和更高時間分辨率腦神經信号的采集。信号的質量是後續分析的基礎和保障。随着這些更高維度的神經信息采集,我們可以做一些連續性、更加精細或更多自由度的運動控制腦機接口系統,将運動控制從離散轉變成更連續、更自由的控制。
第二個方面就是長期信号穩定采集上的進展。芯片植入系統需要考慮生物兼容性問題,如何避免長期植入引發的炎症反應對信号衰減的影響是一個關鍵問題。目前随着新型電極材料的發展,在長期使用上帶來了很大的突破。
第三個方面,自适應和閉環控制上近幾年也得到了很大的突破。
這些硬件和可穿戴性設備的突破,在醫學領域有什麽比較大的進展,未來在哪些方面可能具有哪些進展?對于康複治療有什麽意義?
目前腦機接口技術更多還是停留在實驗室階段,但長遠來看,還是希望這些技術可以造福人類。醫學領域的發展趨勢目前集中在以下幾個方面。
1、康複治療和運動恢複,例如由身體殘疾、中風、漸凍症等導緻運動障礙的患者,通過腦機接口技術幫助他們與外界交互。
2、語音和溝通輔助,幫助存在語音障礙的患者實現和外界的通訊交流。
3、疾病的監測和治療,例如癫痫、帕金森病、兒童多動症與孤獨症等神經系統疾病的監測,以及監測後進行幹預治療。
剛剛老師反複提到的非侵入式和侵入式腦機接口各有哪些?大概的機制是什麽以及有什麽優缺點?
頭皮腦電信号(EEG)是直接在頭皮上佩戴腦電帽采集信号,優勢是相對便攜且無創;再深入的就是皮層電極(ECoG),直接在大腦皮層上采集神經信号;還有一種目前比較廣泛的就是立體腦電(SEEG),主要用在癫痫的術前監測,是在大腦中植入直徑 0.8mm 的細長針狀電極,且單個電極上存在多個觸點,優勢在于可以同時采集到皮層和腦深部的信号;最後就是通過單細胞電位記錄(single unit)采集神經脈沖信号(Spikes),可以直接采集到單個神經元的放電情況。這些方法各有優劣,ECoG 和 SEEG 采集到的是局部場電位,是多個神經元混合的信号;Spikes 則是直接采集到單個或多個神經元發放的信号,時間和空間分辨率是最高的;EEG 主要是頭皮上大規模的混合信号。這些信号采集方式的優缺點主要體現在相應技術是否需要開顱以及時間、空間分辨率上。
以前段時間蘋果發布的 Vision Pro 爲例,除了腦電信号,眼動、手勢的數據采集和識别也可以反映人的意圖,這類多模态的數據是否可以另辟蹊徑,成爲未來腦機接口系統構建的另一個分支?
這些利用人類生物傳感器,如通過監測瞳孔變化識别用戶感興趣内容,包括剛剛提到的非侵入式腦機接口,未來在康複、輔助通訊、虛拟現實、娛樂等領域都有比較廣闊的應用前景。例如,如果把 EEG 的頭皮電極整合到蘋果的頭顯内部,同時獲取頭皮腦電數據和其他多模态數據,可以有很多創新的應用前景。目前可以期待,但未來實現這些還是需要一些時間。
以目前的智能手機爲例,存在一些私人隐私洩露的問題,對于目前腦機接口進展中,有哪些倫理上的考慮?有哪些工作已經在防止這類倫理問題的發生?
目前世界範圍對這個領域的倫理非常重視。
1、個人隐私和數據安全問題,需要建立相應的準則和指南。
2、用戶知情權,以目前學術界爲例,首先需要申請倫理許可證,實驗前還需要與用戶簽訂知情同意書,讓被試知道即将做什麽。
3、數據按嚴格要求存儲,未經過用戶允許不可以私自傳播。目前的應用暫時不存在這個風險,未來産品落地時需要在這方面制定嚴格的标準。
腦機接口作爲一項相對神秘的技術,目前大衆對腦機接口存在哪些比較普遍性的誤解?
目前的腦機接口主要還是停留在實驗室階段,一閃而過的意念識别目前還是比較困難的,媒體的過度宣傳容易在這方面給大衆帶來恐慌。同時,大腦作爲非常複雜的器官,真正理解大腦未來還需要很長的路要走。在未來的實際落地中,相應的倫理法規也會完善,因此目前大家也不要過于恐慌諸如 " 黑客進入我的大腦 " 之類的問題。
觀衆提問
Q:在您看來,腦機接口的發展目前進入了什麽階段,距離 " 進入千萬家 " 還需要多遠?短期來看是否可以達到類似 AlphaGo 或者 ChatGPT 這種級别人工智能的拐點?
從我的業内角度來說,我認爲還是需要挺長一段時間的,短期内(5~10 年範圍内)暫時不會達到這種程度,還需要很多人的共同努力。諸如 Neuralink 的介入,的确會給這個領域帶來一定的推動效果,但目前暫時沒法給出實際的時間預測,技術還需要不斷更新叠代,因此短期内應該還達不到一個新的高度。
是的,我認爲具體任務(比如剛剛提到的醫療應用)的腦機接口系統還是有望在短期内實現突破,但通用型的腦機接口系統确實存在許多困難。
更多精彩内容,關注钛媒體微信号(ID:taimeiti),或者下載钛媒體 App