哪些機構或國家(地區)發表的 AI 研究是最具影響力的?
爲了弄清這個問題,美國 Zeta Alpha 平台統計了2020-2022三年之間全世界引用次數前 100的 AI 論文,得出了一些很有意思的結果。
比如:
" 當紅明星 "OpenAI,在論文引用次數最多的機構中名列第 9。
然而,在論文發表數量最多的機構榜單上,根本找不到它的名字。
再比如,來自工業界的谷歌 Meta 微軟總是在各項數據都名列前茅,然而總的看下來,學術界也并沒有落後工業界。
此外,此前關于 " 中國 AI 研究的産出數量和質量可能超過美國 " 的觀點在這份報告中似乎也被破解——
更多以及具體的數據,我們一個一個來看。
中國第二,OpenAI、DeepMind 質量取勝
在具體分析之前,Zeta Alpha 先統計出了 2020-2022 每年引用次數最多的論文,它們分别是:
2022 年:
1、AlphaFold Protein Structure Database: Massively expanding the structural coverage of protein-sequence space with high-accuracy models
引用次數:1372
機構:DeepMind
主題:利用 AlphaFold 增加蛋白質結構數據庫的覆蓋範圍
2、ColabFold: making protein folding accessible to all
引用次數:1162
機構:多家合作完成
主題:一種開源且高效的蛋白質折疊模型
3、Hierarchical Text-Conditional Image Generation with CLIP Latents
引用次數:718
機構:OpenAI
主題:DALL · E 2
4、A ConvNet for the 2020s
引用次數:690
機構:Meta 和 UC 伯克利大學
主題:在 Transformer 繁榮時期成功實現 CNN 現代化
5、PaLM: Scaling Language Modeling with Pathways
引用次數:452
機構:谷歌
主題:谷歌的 540B 大型語言模型,一個新的 MLOps 範式,包含它的實現過程
2021 年
1、Highly accurate protein structure prediction with AlphaFold
引用次數:8965
機構:DeepMind
主題:AlphaFold,利用深度學習進行蛋白質結構預測的巨大突破
2、Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
引用次數:4810
機構:微軟
主題:ViT 的強大變體
3、Learning Transferable Visual Models From Natural Language Supervision
引用次數:3204
機構:OpenAI
主題:CLIP
4、On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?
引用次數:1266
機構:美國華盛頓,Black in AI,The Aether
主題:著名的立場論文,對不斷增長的語言模型的趨勢持批評态度,強調了它們的局限性和危險
5、Emerging Properties in Self-Supervised Vision Transformers
引用次數:1219
機構:Meta
主題:DINO,揭示了圖像的自監督如何導緻 Transformers 中出現某種原型對象分割
2020 年:
1、An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
引用次數:11914
機構:谷歌
主題:第一個展示普通 Transformer 如何在計算機視覺領域中表現出色的作品
2、Language Models are Few-Shot Learners
引用次數:8070
機構:OpenAI
主題:GPT-3
3、YOLOv4: Optimal Speed and Accuracy of Object Detection
引用次數:8014
機構:中國台灣 " 中研院 "
主題:YOLOv4
4、Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
引用次數:5906
機構:谷歌
主題:對 Transformer 的遷移學習進行了嚴格的研究,産生了著名的 T5
5、Bootstrap your own latent: A new approach to self-supervised Learning
引用次數:2873
機構:DeepMind 和帝國理工學院
主題:表明 negative 對于表征學習來說不是必需的
想必大家能從中找到不少 " 熟悉的面孔 "。
接着,Zeta Alpha 就對近三年的高引用論文背後的信息進行了一番分析。
首先是" 每年論文引用次數進前 100 最多 "的國家(地區)。
可以看到美國強勢第一,中國與之的差距比較明顯。
因此 Zeta Alpha 也認爲,此前關于" 中國在 AI 方面的研究可能超過美國 "的說法至少在這項數據上是不成立的。
除此之外,新加坡和澳大利亞的排名也比較出人意料,分别爲第五和第六。
" 爲了正确評估美國的主導地位 ",Zeta Alpha 又換了一種統計方式,計算引用次數前 100 的百分比。
當然,美國仍然第一,但可以看到三年間的占比有所下降。
英國是中美以外最大的競争對手,不過英國表現突出的 2022 年,其實主要都是由 DeepMind 貢獻的(占比 69%)。
接下來是按組織或機構評比論文引用次數進前 100 最多的個體。
不太意外,谷歌與 Meta 微軟分列前三,随後是 UC 伯克利、DeepMind 和斯坦福。
OpenAI 也收獲了一個還不錯的名次,第九。第十是 MIT,第十一是清華大學。
盡管前三名選手都來自工業界,但是如果隻按照機構類型來分,學術界和它的表現其實基本不相上下。
再接着,是過去三年各組織或機構發表的論文總數排名。
老大還是谷歌。第二名比較亮眼,是清華大學,随後是微軟、CMU、MIT、斯坦福、UC 伯克利、北京大學(第八)、Meta ……
可以看到,前十裏隸屬于學術界的機構或組織占據了大片江山。
而我們找了半天,也沒有看到 OpenAI 和 DeepMind 的名字——
顯然它們發表的論文數量較少,主要靠質量取勝。
爲了驗證這一猜測,Zeta Alpha 也做了一個高引論文轉化率的排名。
果不其然,OpenAI 摘得桂冠,DeepMind 獲得第三。
當然,Meta 也不錯,第四,引得 LeCun 都出來 " 現身說法 " 了一下:
我們 Meta 确實是更注重質量而不是數量的。
相比之下,高引多但發得更多的谷歌才排第九,差點出前 10。
除了這幾位,第二名也是亮點——它就是曠視。
以及國内還有商湯也上榜了。
附 2022 引用 Top100 完整名單
ChatGPT 的火着實盤活了 AI 産業,最新前沿研究究竟會指往哪些方向?我們也需要更加敏銳地進行觀察。
爲此,Zeta Alpha 也給出了 2022 年引用進 100 的所有 AI 論文的名單,或許對大家有所啓發。
1-30:
31-60:
61-90:
91-100:
那麽,Zeta Alpha 這份報告的全部内容就是這些。
原文可戳:
https://www.zeta-alpha.com/post/must-read-the-100-most-cited-ai-papers-in-2022