" 現在 Stable Diffusion 已經能重建大腦視覺信号了！"
就在昨晚，一個聽起來細思極恐的"AI 讀腦術 "研究，在網上掀起軒然大波：
這項研究聲稱，隻需用 fMRI（功能磁共振成像技術，相比 sMRI 更關注功能性信息，如腦皮層激活情況等）掃描大腦特定部位獲取信号，AI 就能重建出我們看到的圖像！
例如這是一系列人眼看到的圖像，包括戴着蝴蝶結的小熊、飛機和白色鍾樓：
AI 看了眼人腦信号後，立馬就給出這樣的結果，屬實把該抓的重點全都抓住了：
再發展一步，這不就約等于哈利波特裏的讀心術了嗎？？
更有網友感到驚歎：如果說 ChatGPT 開放 API 是件大事，那這簡直稱得上瘋狂。
所以，這究竟是怎麽一回事？
用 Stable Diffusion 可視化人腦信号
這項研究來自日本大阪大學，目前已經被CVPR 2023收錄：
研究希望能從人類大腦活動中，重建高保真的真實感圖像，來理解大腦、并解讀計算機視覺模型和人類視覺系統之間的聯系。
要知道，此前雖然有不少腦機接口研究，緻力于從人類大腦活動中讀取并重建信号，如意念打字等。
然而，從人類大腦活動中重建視覺信号——具有真實感的圖像，仍然挑戰極大。
例如這是此前 UC 伯克利做過的一項類似研究，複現一張人眼看到的飛機片段，但計算機重建出來的圖像卻幾乎看不出飛機的特征：
△圖源 UC 伯克利研究 Reconstructing Visual Experiences from Brain Activity Evoked by Natural Movies
這次，研究人員重建信号選用的 AI 模型，是這一年多在圖像生成領域地位飛升的擴散模型。
當然，更準确地說是基于潛在擴散模型（LDM）—— Stable Diffusion。
整體研究的思路，則是基于 Stable Diffusion，打造一種以人腦活動信号爲條件的去噪過程的可視化技術。
它不需要在複雜的深度學習模型上進行訓練或做精細的微調，隻需要做好 fMRI（功能磁共振成像技術）成像到 Stable Diffusion 中潛在表征的簡單線性映射關系就行。
它的概覽框架是這樣的，看起來也非常簡單：
僅由 1 個圖像編碼器、1 個圖像解碼器，外加 1 個語義解碼器組成。
具體怎麽 work？
如下圖所示，第一部分爲本研究用到的 LDM 示意圖。
其中 ε 代表圖像編碼器，D 代表圖像解碼器，而 τ 是一個文本編碼器（CLIP）。
重點是解碼分析，如下圖所示，模型依次從大腦早期（藍色）和較高（黃色）視覺皮層内的 fMRI 信号中，解碼出重建圖像（z）和相關文本 c 的潛在表征。
然後将這些潛在表征當作輸入，就可以得到模型最終複現出來的圖像 Xzc。
最後還沒有完，如編碼分析示意圖，作者還構建了一個編碼模型，用來預測 LDM 不同組件（包括圖像 z、文本 c 和 zc）所對應的 fMRI 信号，它可以用來理解 Stable Diffusion 的内部過程。
可以看到，采用了 zc 的編碼模型在大腦後部視覺皮層産生的預測精确度是最高的。（zc 是與 c 進行交叉注意的反向擴散後，z 再添加噪聲的潛在表征）
相比其它兩者，它生成的圖像既具有高語義保真度，分辨率也很高。
還有用 GAN 重建人臉圖像的
看完這項研究，已經有網友想到了細思極恐的東西：
這個 AI 雖然隻是複制了 " 眼睛 " 所看到的東西。
但是否會有一天，AI 能直接從人腦的思維、甚至是記憶中重建出圖像或文字？
" 語言的用處不再存在了 "
于是有網友進一步想到，如果能讀取記憶的話，那麽目擊證人的證詞似乎也會變得更可靠了：
還别說，就在去年真有一項研究基于 GAN，通過 fMRI 收集到的大腦信号重建看到的人臉圖像：
不過，重建出來的效果似乎不怎麽樣……
顯然，在人臉這種比較精細的圖像生成上，AI" 讀腦術 " 還有很長一段路要走。
對于這種大腦信号重建的研究，也有網友提出了質疑。
例如，是否隻是 AI 從訓練數據集中提取出了相似的數據？
對此有網友回複表示，論文中的訓練數據集和測試集是分開的：
作者們也在項目主頁中表示，代碼很快會開源。可以先期待一下 ~
作者介紹
本研究僅兩位作者。
一位是 2021 年才剛剛成爲大阪大學助理教授的 Yu Takagi，他主要從事計算神經科學和人工智能的交叉研究。
最近，他同時在牛津大學人腦活動中心和東京大學心理學系利用機器學習技術，來研究複雜決策任務中的動态計算。
另一位是大阪大學教授 Shinji Nishimoto，他也是日本腦信息通信融合研究中心的首席研究員。
研究方向爲定量理解大腦中的視覺和認知處理，谷歌學術引用 3000+ 次。
那麽，你覺得這波 AI 重建圖像的效果如何？
項目地址：
https://sites.google.com/view/stablediffusion-with-brain/
參考鏈接：
[ 1 ] https://twitter.com/SmokeAwayyy/status/1631474973243236354
[ 2 ] https://twitter.com/blader/status/1631543565305405443
[ 3 ] https://news.berkeley.edu/2011/09/22/brain-movies/
[ 4 ] https://www.nature.com/articles/s41598-021-03938-w
