近日，開發者群體正熱議一款基于開源模型更換張量（Tensor）名字的話題。
具體來看，在 Yi-34B 的 Hugging Face 開源主頁上，開發者 ehartford 質疑李開複帶隊創辦的 AI2.0 公司零一萬物近期發布的 Yi-34B 模型使用了 Meta LLaMA 的架構，隻對兩個張量（Tensor）名稱進行了修改。ehartford 表示，開源社區肯定會重新發布 Yi 大模型，并重命名張量以符合 LLaMA 架構。
據悉，Yi-34B 是零一萬物在 11 月 6 日正式發布的首款開源預訓練大模型，其 Yi 系列模型，包含 34B 和 6B 兩個版本。其中開源的 Yi-34B 模型将發布全球最長、可支持 200K 超長上下文窗口（context window）版本，可以處理約 40 萬漢字超長文本輸入。
針對此事，" 零一萬物 " 公司昨日正式公開進行回應，該公司開源團隊總監 Richard Lin 承認了修改 Llama 張量名稱的做法不妥，将會按照外界建議把 " 修改後的張量名稱從 Yi 改回 LLaMA"。今日零一萬物更是在其公司訂閱号發布 " 對 Yi-34B 訓練過程的說明 "。
文中表示，在零一萬物初次開源過程中，公司發現用和開源社區普遍使用的 LLaMA 架構會對開發者更爲友好，對于沿用 LLaMA 部分推理代碼經實驗更名後的疏忽，原始出發點是爲了充分測試模型，并非刻意隐瞞來源。零一萬物對此提出說明，并表達誠摯的歉意，公司正在各開源平台重新提交模型及代碼并補充 LLaMA 協議副本的流程中，承諾盡速完成各開源社區的版本更新。
對于社區反饋，零一萬物在文中表達了感謝，并表示公司在開源社區剛剛起步，希望和大家攜手共創社區繁榮，在近期發布 Chat Model 之後，公司将擇期發布技術報告，Yi Open-source 會盡最大努力虛心學習，持續進步。
李開複在轉發這則說明時，也在朋友圈表示，該内容是回應這兩天大家對于模型架構的探讨。
" 全球大模型架構一路從 GPT2--＞Gopher--＞Chinchilla--＞Llama2--＞Yi，行業逐步形成大模型的通用标準（就像做一個手機 app 開發者，不會去自創 iOS、Android 以外的全新基礎架構）。01.AI 起步受益于開源，也貢獻于開源，從社區中虛心學習，我們會持續進步。"
" 零一萬物對 Yi-34B 訓練過程的說明 " 全文内容如下：
就零一萬物的觀察和分析，大模型社區在技術架構方面現在是一個處于接近往通用化逐步收攏的階段，基本上國際主流大模型都是基于 Transformer 的架構，做 attention，activation，normalization，positional embedding 等部分的改動，LLaMA、Chinchilla、Gopher 等模型的架構和 GPT 架構大同小異，全球開源社區基于主流架構的模型變化非常之多，生态呈現欣欣向榮，國内已發布的開源模型也絕大多數采用漸成行業标準的 GPT/LLaMA 的架構。然而，大模型持續發展與尋求突破口的核心點不僅在于架構，而是在于訓練得到的參數。
模型訓練過程好比做一道菜，架構隻是決定了做菜的原材料和大緻步驟，這在大多數人的認知中也逐步形成共識。要訓練出好的模型，還需要更好的 " 原材料 "（數據）和對每一個步驟細節的把控（訓練方法和具體參數）。由于大模型技術發展還在非常初期，從技術觀點來說，行業共識是與主流模型保持一緻的模型結構，更有利于整體的适配與未來的叠代。
零一萬物在訓練模型過程中，沿用了 GPT/LLaMA 的基本架構，由于 LLaMA 社區的開源貢獻，讓零一萬物可以快速起步。零一萬物從零開始訓練了 Yi-34B 和 Yi-6B 模型，并根據實際的訓練框架重新實現了訓練代碼，用自建的數據管線構建了高質量配比的訓練數據集（從 3PB 原始數據精選到 3T token 高質量數據）。除此以外，在 Infra 部分進行算法、硬件、軟件聯合端到端優化，實現訓練效率倍級提升和極強的容錯能力等原創性突破。這些科學訓模的系統性工作，往往比起基本模型結構能起到巨大的作用跟價值。
零一萬物團隊在訓練前的實驗中，嘗試了不同的數據配比科學地選取了最優的數據配比方案，投注大部分精力調整訓練方法、數據配比、數據工程、細節參數、baby sitting（訓練過程監測）技巧等。這一系列超越模型架構之外，研究與工程并進且具有前沿突破性的研發任務，才是真正屬于模型訓練内核最爲關鍵、能夠形成大模型技術護城河 know-how 積累。在模型訓練同時，零一萬物也針對模型結構中的若幹關鍵節點進行了大量的實驗和對比驗證。舉例來說，我們實驗了 Group Query Attention（GQA）、Multi-Head Attention（MHA）、Vanilla Attention 并選擇了 GQA，實驗了 Pre-Norm 和 Post-Norm 在不同網絡寬度和深度上的變化，并選擇了 Pre-Norm，使用了 RoPE ABF 作爲 positional embedding 等。也正是在這些實驗與探索過程中，爲了執行對比實驗的需要，模型對部分推理參數進行了重新命名。
在零一萬物初次開源過程中，我們發現用和開源社區普遍使用的 LLaMA 架構會對開發者更爲友好，對于沿用 LLaMA 部分推理代碼經實驗更名後的疏忽，原始出發點是爲了充分測試模型，并非刻意隐瞞來源。零一萬物對此提出說明，并表達誠摯的歉意，我們正在各開源平台重新提交模型及代碼并補充 LLaMA 協議副本的流程中，承諾盡速完成各開源社區的版本更新。
我們非常感謝社區的反饋，零一萬物在開源社區剛剛起步，希望和大家攜手共創社區繁榮，在近期發布 Chat Model 之後，我們将擇期發布技術報告，Yi Open-source 會盡最大努力虛心學習，持續進步。
