GPT-4 的圖形推理能力，竟然連人類的一半都不到？
美國聖塔菲研究所的一項研究顯示，GPT-4 做圖形推理題的準确率僅有 33%。
而具有多模态能力的 GPT-4v 表現更糟糕，隻能做對 25% 的題目。
△虛線表示 16 項任務的平均表現
這項實驗結果發表後，迅速在 YC 上引發了廣泛熱議。
贊同這項結果的網友表示，GPT 确實不擅長抽象圖形處理，" 位置 "" 旋轉 " 等概念理解起來更加困難。
但另一邊，不少網友對這個結論也有所質疑，簡單說就是：
不能說是錯的，但說完全正确也無法讓人信服。
至于具體的原因，我們繼續往下看。
GPT-4 準确率僅 33%
爲了評估人類和 GPT-4 在這些圖形題上的表現，研究者使用了自家機構于今年 5 月推出的 ConceptARC 數據集。
ConceptARC 中一共包括 16 個子類的圖形推理題，每類 30 道，一共 480 道題目。
這 16 個子類涵蓋了位置關系、形狀、操作、比較等多個方面的内容。
具體而言，這些題目都是由一個個像素塊組成的，人類和 GPT 需要根據給定的示例尋找出規律，分析出圖像經過相同方式處理後的結果。
作者在論文中具體展示了這 16 個子類的例題，每類各一道。
結果 451 名人類受試者平均正确率，在各子項中均不低于 83%，16 項任務再做平均，則達到了 91%。
而 GPT-4（單樣本）在 " 放水 " 到一道題可以試三次（有一次對就算對）的情況下，準确率最高不超過 60%，平均值隻有 33%。
早些時候，這項實驗涉及的 ConceptARC Benchmark 的作者也做過類似的實驗，不過在 GPT-4 中進行的是零樣本測試，結果 16 項任務的平均準确率隻有 19%。
而多模态的 GPT-4v，準确率反而更低，在一個 48 道題組成的小規模 ConceptARC 數據集中，零樣本和單樣本測試的準确率分别隻有 25% 和 23%
而研究者在進一步分析了錯誤答案後，發現人類的有些錯誤看上去很可能是 " 粗心導緻 "，而 GPT 則是完全沒有理解題目中的規律。
針對這些數據，網友們普遍沒什麽疑問，但讓這個實驗備受質疑的，是招募到的受試人群和給 GPT 的輸入方式。
受試者選擇方式遭質疑
一開始，研究者在亞馬遜的一個衆包平台上招募受試者。
研究者從數據集中抽取了一些簡單題目作爲入門測試，受試者需要答對随機 3 道題目中的至少兩道才能進入正式測試。
結果研究人員發現，入門測試的結果顯示，有人隻是想拿錢，但根本不按要求做題。
迫不得已，研究者将參加測試的門檻上調到了在平台上完成過不少于 2000 個任務，且通過率要達到 99%。
不過，雖然作者用通過率篩人，但是在具體能力上，除了需要受試者會英語，對圖形等其他專業能力 " 沒有特殊要求 "。
而爲了數據的多樣化，研究者在實驗後期又将招募工作轉到了另一個衆包平台，最終 一共有 415 名受試者參與了實驗。
盡管如此，還是有人質疑實驗中的樣本 "不夠随機"。
還有網友指出，研究者用來招募受試者的亞馬遜衆包平台上，有大模型在冒充人類。
再來看 GPT 這邊的操作，多模态版本比較簡單，直接傳圖然後用這樣的提示詞就可以了：
零樣本測試中，則隻要去掉相應的 EXAMPLE 部分。
但對于不帶多模态的純文本版 GPT-4（0613），則需要把圖像轉化爲格點，用數字來代替顔色。
針對這種操作，就有人表示不認同了：
把圖像轉換成數字矩陣後，概念完全變了，就算是人類，看着用數字表示的 " 圖形 "，可能也無法理解
One More Thing
無獨有偶，斯坦福的華人博士生 Joy Hsu 也用幾何數據集測試了 GPT-4v 對圖形的理解能力。
這個數據集發表于去年，目的是測試大模型對歐氏幾何的理解，GPT-4v 開放後，Hsu 又用這套數據集給它測試了一遍。
結果發現，GPT-4v 對圖形的理解方式，似乎 " 和人類完全不同 "。
數據上，GPT-4v 對這些幾何問題的回答也明顯不如人類。
論文地址：
[ 1 ] https://arxiv.org/abs/2305.07141
[ 2 ] https://arxiv.org/abs/2311.09247
參考鏈接：
[ 1 ] https://news.ycombinator.com/item?id=38331669
[ 2 ] https://twitter.com/joycjhsu/status/1724180191470297458
