圖片來源 @視覺中國
文 | 追問 NextQuestion，作者 | 鑄雪，編輯 | lixia
大腦利用感覺系統來感知和理解周圍的環境，比如通過視覺識别物體，通過聽覺辨别聲音。人類感覺系統的奇特之處在于，對物體的識别具有不變性（invariance），不會受物體外觀變化的影響，比如不論光線明暗，我們都能認出月台上父親的身影。同樣地，一段話不論是面對面說出，還是通過電話傳遞，語調不論是平鋪直叙還是抑揚頓挫，我們都可以準确地聽懂交流的内容。也就是說，大腦會忽略與核心特征無關的差異，通過一系列複雜轉換，精準穩定地識别物體和聲音。
神經科學工作者一直緻力于構建一系列能重現大腦反應和行爲的模型。而在衆多計算機模型中，深度神經網絡（deep neural network，DNN）模型具有與大腦感覺系統類似的層級結構，因此，人們嘗試使用這類分層神經網絡模型來模拟大腦的感知，将感官輸入轉化爲與任務相關的表征。到目前爲止，基于 DNN 的模型已成爲性能最好的機器感知系統，同時也是大腦視覺和聽覺系統領域的主要研究模型。如今，DNN 模型在識别物體或聲音方面，表現得如大腦一樣出色。
但近期，麻省理工學院的研究者在 Nature Neuroscience 上發表的論文發現，這些模型似乎會 " 搭錯神經 "，對與目标無關的刺激作出同樣的反應。進一步的研究表明，雖然在目标識别判斷方面，DNN 模型與人類感覺系統的表現類似，但它們的識别策略截然不同。DNN 模型擁有自己獨特的不變性，亦即它們會對在人類看來千差萬别的刺激物作出相同的反應。
▷圖 注：論文封面。圖源：nature neuroscience 官網
一種行爲檢測方法
人工神經網絡模型之所以能夠複制生物感覺系統中的運算，是基于這樣一種假設——這些模型的不變性反映的正是生物感覺系統中的不變性。但有研究發現，人類與模型之間存在着差異，它們的不變性似乎并不完全匹配。
爲了确定 DNN 習得的不變性與人類感知的不變性是否相似，Jenelle Feather 等人以執行分類任務的 DNN 模型爲例，進行了深入探究。
目前，大多數感知系統的神經網絡模型，都是爲了完成單一的行爲任務而訓練的。如果該模型成功地再現了人類在某項任務中的不變性，那麽它的同色異譜（metamer）* 在該任務中應該也會産生與人類相同的行爲判斷。因爲它們與介導判斷的人類表征應該是無差别的。
* 注：同色異譜的概念源于對人類感知的研究，描述的是有些顔色由不同波長的光組成，但看起來卻完全相同。根據格拉斯曼定律，人的顔色視覺系統隻能分辨顔色的明度、色調和彩度三個顔色屬性，隻要在視覺上對這三個顔色屬性的感覺相同，就認爲是相同的顔色，便可以相互替代，不必考慮它們的光譜組成究竟是否相同。在聽覺方面也有類似的現象。比如，盡管兩群昆蟲發出的聲音具有不同的聲學細節，但人們無法将它們區分開，因爲這些聲音具有相似的總體統計特性。借用此概念，以 DNN 模型替代人類感知，由模型生成的、與自然刺激相配對的刺激，被稱作模型同色異譜。
基于此，該研究使用識别判斷（recognition judgement）作爲行爲測定标準，來檢測模型同色異譜是否反映了相關人類感知系統中實例化相應的不變性。如果人類無法識别一個模型同色異譜，那麽他們也就無法将其與參照刺激劃爲一類。
所以，在研究中他們首先構建模型同色異譜，之後将獲得的同色異譜呈現給人類測試者，讓他們進行分類，看是否與最初的刺激物屬于同一類。
具體步驟如下：
1）測量自然圖像或聲音在特定模型階段引起的激活；
2）将自然圖像或聲音的同色異譜初始設置爲白噪聲信号。圖像或聲音波形均可，選擇白噪聲是爲了在模型約束條件下盡可能廣泛地對同色異譜進行采樣，而不會使初始化偏向于特定的對象類别；
3）對噪聲信号進行修改，使其在相關模型階段的激活同與之匹配的自然信号的激活之間的差異最小。優化過程是對輸入信号進行梯度下降，在模型參數保持不變的情況下反複更新輸入信号。
▷圖注：模型同色異譜的構建過程。圖源：論文
任何由可微分運算構建的模型階段，都可以用這種方法生成模型同色異譜。由于本研究所考慮的模型是分層的，如果圖像或聲音在某一特定階段得到了高保真匹配，那麽随後的所有階段也都會得到匹配，包括在監督模型中的最終分類階段，它們會産生相同的決定。
（1）标準視覺 DNN 的同色異譜
研究者爲五個跨越不同結構和深度的标準視覺神經網絡的多個階段生成了同色異譜。這五個标準視覺神經網絡在 ImageNet1K 數據集上進行訓練，可以捕捉到與靈長類動物視覺表征相似的特征。随後，又對另外五個模型進行了第二次實驗，這五個模型是在項目後期獲得的更大數據集上預先訓練的。
爲了評估人類對模型同色異譜的識别能力，人類測試者對自然刺激和模型同色異譜進行了一個包含 16 個類别的分類任務（16-way categorization task）。結果發現，與 " 訓練有素的神經網絡學會了類似于人類的不變性 " 這一想法相反，人類對模型同色異譜的識别能力在不同模型階段都有所下降。
▷圖注：标準訓練的視覺深度神經網絡的同色異譜，通常無法被人類測試者識别。圖源：論文
▷圖注：來自标準訓練和半弱監督學習訓練的 ResNet50 視覺模型的同色異譜示例。圖源：論文
（2）标準聽覺 DNN 的同色異譜
研究者還用兩個經過訓練的聽覺神經網絡—— CochResNet50 和 CochCNN9，進行了類似的實驗。他們在 Word – Speaker – Noise 數據集中進行單詞識别任務，模型同色異譜是根據驗證集中的純語音示例生成的。人類測試者執行了一項包含 793 個類别的分類任務（793-way categorization task），識别刺激中的單詞。
▷圖注：人類對聽覺模型同色異譜的識别率。圖源：論文
▷圖注：來自兩個聽覺模型同色異譜示例的耳蝸圖。顔色強度表示頻率通道中的瞬時聲音振幅（任意單位）。圖源：論文
研究人員驚奇地發現，通過同色異譜方式生成的大多數圖像和聲音，看起來和聽起來都與模型最初得到的示例完全不同。大多數圖像隻是雜亂無章的像素的堆疊，而聲音則聽起來更像噪音。将它們展示給人類測試者時，他們大多數都無法将其歸到與原始刺激相同的類别中。
這表明，盡管這些視覺和聽覺神經網絡模型目前是每種模式下大腦反應的最佳預測模型，但它們的不變性與人類感知的不變性嚴重不符。也就是說，模型形成了自己的不變性。在模型看來相同的刺激物，對人類來說有着天壤之别。
這不是個例
研究人員不僅試圖回答，常用神經網絡模型習得的不變性是否與人類感知系統相同，他們還好奇無監督學習模型（unsupervised model）中是否也存在這種不變性差異？
生物系統通常無法獲得監督學習所需的大規模标簽（label），在很大程度上依賴無監督學習。所以，有理由懷疑，神經網絡模型中明顯存在的不變性差異，在某種程度上可能源于帶有明确類别标簽的監督訓練。
同色異譜非常适合用于回答這個問題，因爲其生成不依賴于分類器，任何感官模型都可以生成同色異譜。
目前，主要的無監督模型都是 " 自監督 " 模型，它們在訓練時使用損失函數，該函數偏向于将單個訓練示例的變體（例如圖像的不同裁剪）表征爲相似，而将不同訓練示例的變體表征爲不相似。研究者爲四種此類模型（SimCLR、MoCo_V2、BYOL 和 IPCL）以及具有相同架構的監督比較模型生成了模型同色異譜。
▷圖注：ResNet50 監督和自監督模型中部分階段的同色異譜示例。在所有模型中，後期同色異譜大多無法識别。圖源：論文
▷圖注：人類測試者從監督和自監督模型中識别同色異譜的概率，以及在模型的每個階段根據 ImageNet1K 任務訓練的線性讀出器（linear readout）的分類性能。圖源：論文
對比發現，自監督模型的結果與監督模型相似，人類測試者對模型同色異譜的識别率在模型後期都有所下降，在最後階段接近偶然水平。這表明，标準神經網絡模型無法通過上述同色異譜測試，這并不是監督訓練程序所特有的。
人類各模型之間是否共享同色異譜？
雖然模型同色異譜無法被人類識别，但它是否能被其他模型識别呢？也就說，各個模型是否擁有相同的不變性？
爲了解決這個問題，研究者将所有針對一個模态訓練的模型納入研究，将其中一個模型作爲 " 生成 " 模型，并将其同色異譜呈現給每個其他模型（" 識别 " 模型），測量它們對類别預測的準确性。每個模型依次作爲生成模型，重複上述過程。
▷圖注：爲 " 生成 " 模型的每個階段生成同色異譜。這些同色異譜被呈現給 " 識别 " 模型。圖源：論文
結果發現，模型往往包含獨特的不變性，即它們的同色異譜無法被其他模型識别。之前的研究發現，自然圖像的表征不相似矩陣（representational dissimilarity matrix）在不同神經網絡模型之間可能存在差異，本研究的發現與之基本一緻。
簡言之，研究人員在不同的聽覺模型和視覺模型中都得到了相同的效果——每個模型都形成了自己獨有的不變性。當一個模型的同色異譜展示給另一個模型時，第二個模型和人類測試者一樣，也無法識别。
如何使模型的同色異譜更易被人類識别？
目前模型與人類之間另一個常見的差異是，模型傾向于根據紋理而非形狀來進行判斷。這種 " 紋理偏差 "（texture bias）可以通過 " 風格化 " 圖像的訓練數據集來減少，從而增加模型對形狀線索的依賴，使模型在這方面更像人類。鑒于此，研究人員探究了紋理偏差是否也有助于減少模型同色異譜的差異。
研究者選取了在 Stylized ImageNet 上訓練的兩個模型，爲它們生成了同色異譜。結果發現，這些模型的同色異譜與在标準 ImageNet1K 訓練集上訓練的模型的同色異譜一樣，同樣無法被人類識别。這表明，紋理偏差無法解釋同色異譜差異！這些差異并不隻是由模型的紋理偏差造成的。
▷圖注：（e）使用 Stylized ImageNet 增強的自然圖像和風格化圖像示例。（f）人類對使用 Stylized ImageNet 訓練的 ResNet50 架構和 AlexNet 架構的模型同色異譜的識别。圖源：論文
衆所周知，目前人工神經網絡的一個特點是，容易受到對抗擾動（adversarial perturbation）的影響。刺激物的微小變化就會改變模型的判斷，但人類通常無法察覺這些變化。
降低這種脆弱性的一種方法是進行對抗訓練（adversarial training），即在訓練過程中産生對抗擾動，迫使模型學會将擾動圖像識别爲 " 正确的 " 人類可解釋的類别。那麽，這種對抗訓練是否會有助于人類識别模型的同色異譜？
▷圖注：對抗訓練。圖源：論文
研究人員爲五個經過對抗訓練的視覺模型生成了模型同色異譜，這些模型具有不同的結構和擾動大小。作爲對照，他們還對模型進行了随機方向而非對抗方向的等量擾動訓練，這種訓練通常無法有效防止對抗性攻擊。
▷圖注：有對抗性擾動、無對抗性擾動或随機擾動的模型同色異譜示例。圖源：論文
研究人員發現，與标準訓練的模型或随機擾動訓練的模型相比，在所有情況下，通過對抗訓練誘導出的同色異譜都更容易被人類識别。不過，這些同色異譜的效果還是不如原始刺激物。
在聽覺模型上的對抗訓練研究，也得到了相同的效果。總之，對抗訓練可以使模型的不變性在視覺和聽覺領域變得更像人類。進一步的研究還發現，識别率的提升與對抗訓練對模型魯棒性的影響無關。
同色異譜 vs 模型 - 大腦相似性
既然不同模型之間同色異譜存在差異，那麽同色異譜測試與傳統的模型評估方法（如大腦預測或對抗脆弱性等）相比是否具有優勢呢？
爲了弄清楚這個問題，研究者使用标準模型 - 大腦比較基準，對上述提到的所有視覺和聽覺模型進行了評估。對于視覺模型，他們使用 Brain-Score 平台，用以測量模型表征與視覺區域 V1、V2 和 V4 以及下颞皮層（IT）的神經基準的相似性。
▷圖注：神經基準流程。圖源：論文
對于每個模型，他們都選取了在各視覺區域的保留數據中相似度最高的模型階段，以此計算每個視覺區域的得分。然後，将這一神經基準得分與用于獲得神經預測的同一階段的模型同色異譜的可識别性進行比較。這項分析表明，V4 和 IT 的兩個測量值之間存在适度的相關性，但經過 Bonferroni 校正後并不顯著，而且遠低于預設的噪聲上限。
此外，不同模型的神經基準得分總體上極其相似。因此，标準的模型 - 大腦比較基準并不能捕捉在同色異譜識别方面的差異。
同時，他們使用一個大型人類聽覺皮層功能磁共振成像（fMRI）數據集，對聽覺模型進行了類似的分析，最終得出相似的結論。也就是說，同色異譜測試在區分模型方面超過了這些傳統指标，可作爲傳統的模型 - 大腦拟合度量的一種補充工具，與其相輔相成。
總結
在不同的模态（視覺和聽覺）和訓練方法（監督訓練和自監督訓練）下，由于 DNN 存在不同于人類感知系統中的不變性，其同色異譜通常無法被人類識别。這種效應是由模型特有的不變性驅動的。同時，研究者還找到了使模型同色異譜更易被人類識别的方法，比如在模型的中間階段對模型進行對抗訓練。
同樣，人類是否也有個體特有的不變性？鑒于目前還無法對人類同色異譜進行采樣，因此很難測試這種可能性。如果人類也存在特異的不變性，那麽本文描述的現象可能就不是人類與模型之間的差異，而更可能是識别系統的一種共同特性。
參考文獻
Feather, J., Leclerc, G., M ą dry, A. et al. Model metamers reveal divergent invariances between biological and artificial neural networks. Nat Neurosci 26, 2017 – 2034 ( 2023 ) . https://doi.org/10.1038/s41593-023-01442-0
https://news.mit.edu/2019/differences-between-deep-neural-networks-and-human-perception-1212
https://neurosciencenews.com/neural-networks-sensory-perrception-24953/
