圖片來源:視覺中國
知名大模型公司再次陷入套殼質疑,這次是李開複剛于一周前發布的 " 零一萬物 "(Yi)大語言模型,疑似套殼 Meta 公司在今年開源的大模型 LLaMA。
阿裏前技術副總裁、大模型行業創業者賈揚清近日在朋友圈中表示,做小公司不容易,在做适配某國内大廠的新模型的業務時,發現此大廠新模型完全照搬 LLaMA 的架構," 今天有朋友告訴我,這個大廠新模型 exactly 就是 LLaMA 的架構,但是爲了表示不一樣,把代碼裏面的名字從 LLaMA 改成了他們的名字,然後換了幾個變量名。"
賈揚清表示希望不要換名僞裝,以免做多餘的适配工作," 各位大佬,開源社區不容易,如果你們就是開源的模型結構,求高擡貴手就叫原來的名字吧,免得我們還做一堆工作就爲了适配你們改名字。"
賈揚清沒有指明具體的大模型名字。但業内懷疑的對象指向李開複旗下的零一萬物(Yi)。
在全球三大開源社區平台之一 Hugging Face 上,零一萬物的社區中,開發者 ehartford 指出," 據我們了解,除了兩個張量(tensor)被重命名之外,Yi 完全使用了 LLaMA 的架構。"
據《機器之心》報道,有研究者在加速器創業網站 Y Combinator 上發帖指出,Yi-34B 模型基本上采用了 LLaMA 的架構,隻是重命名了兩個張量。
張量(Tensor)指多維向量,Yi 相當于隻更改了部分參數的名字,架構與 LLaMA 相同,但卻完全沒有提到 LLaMA 的來源。
在 Hugging Face 上零一萬物社區讨論中,有用戶指出套殼對于 Yi 許可證的風險," 如果他們使用完全相同的 Meta LLaMA 結構、代碼庫和所有相關資源,也必須遵守 LLaMA 規定的許可協議。以 LLaMA 格式正式發布 Yi 模型是有問題的,會破壞 Yi 許可條款的可執行性。"
Yi 是李開複成立的 AI 公司 " 零一萬物 " 上周剛剛發布的首款開源大模型。據 36 氪報道,零一萬物已完成新一輪融資,由阿裏雲領投。李開複稱,在完成融資前,爲了覆蓋算力等訓練成本,零一萬物已經負債幾千萬美元。而現在,零一萬物估值已超 10 億美元,跻身獨角獸行列。目前零一萬物開源發布的 Yi-34B 模型在 Hugging Face 上 Open LLM Leaderboard 開源大語言模型排行榜上排名第一。
針對 Yi 套殼 LLaMA 一事,零一萬物回應《機器之心》表示,Yi 确實借鑒了 GPT 的成熟結構,但零一萬物團隊自己也做了大量工作:"GPT 是一個業内公認的成熟架構,LLaMA 在 GPT 上做了總結。零一萬物研發大模型的結構設計基于 GPT 成熟結構,借鑒了行業頂尖水平的公開成果,同時基于零一萬物團隊對模型和訓練的理解做了大量工作…… Yi 開源模型在其他方面的精力,比如數據工程、訓練方法、baby sitting(訓練過程監測)的技巧、hyperparameter 設置、評估方法以及對評估指标的本質理解深度、對模型泛化能力的原理的研究深度、行業頂尖的 AI Infra 能力等,投入了大量研發和打底工作…… "
而在 Hugging Face 原帖下,零一萬物的團隊成員 Richar Lin 回應承認了更改張量名稱一事," 這個命名問題是我們的疏忽。在大量的訓練實驗中,我們對代碼進行了多次重命名,以滿足實驗要求。但是,我們有點掉以輕心,沒有在發布之前将它們改回來。" 他表示,會将張量改回原 LLaMA 的命名。
國産大模型的套殼開源大模型的争議早已有之。不少企業正是基于開源模型做微調,包括二次訓練等,也有企業直接基于開源模型做應用層的開發,因此研發成本更低。
OpenAI 公司對于 GPT-2 之後的模型就不再開源,而 Meta 公司推出的開源模型 LLaMA,其訓練使用的公開數據集均超過萬億詞元,展現出與非開源大模型相近水平的任務處理能力。LLaMA 便成了經費并不充裕的學術界或公司參與 AI 浪潮的高性價比之選。