李開複旗下 AI 公司零一萬物，又一位大模型選手登場：
90 億參數 Yi-9B。
它号稱 Yi 系列中的 " 理科狀元 "，" 惡補 " 了代碼數學，同時綜合能力也沒落下。
在一系列類似規模的開源模型（包括 Mistral-7B、SOLAR-10.7B、Gemma-7B、DeepSeek-Coder-7B-Base-v1.5 等）中，表現最佳。
老規矩，發布即開源，尤其對開發者友好：
Yi-9B（BF 16） 和其量化版 Yi-9B（Int8）都能在消費級顯卡上部署。
一塊 RTX 4090、一塊 RTX 3090 就可以。
深度擴增 + 多階段增量訓練而成
零一萬物的 Yi 家族此前已經發布了 Yi-6B 和 Yi-34B 系列。
這兩者都是在 3.1T token 中英文數據上進行的預訓練，Yi-9B 則在此基礎上，增加了 0.8T token 繼續訓練而成。
數據的截止日期是2023 年 6 月。
開頭提到，Yi-9B 最大的進步在于數學和代碼，那麽這倆能力究竟如何提升呢？
零一萬物介紹：
單靠增加數據量并沒法達到預期。
靠的是先增加模型大小，在 Yi-6B 的基礎上增至 9B，再進行多階段數據增量訓練。
首先，怎麽個模型大小增加法？
一個前提是，團隊通過分析發現：
Yi-6B 訓練得已經很充分，再怎麽新增更多 token 練效果可能也不會往上了，所以考慮擴增它的大小。 ( 下圖單位不是 TB 而是 B )
怎麽增？答案是深度擴增。
對原模型進行寬度擴增會帶來更多的性能損失，通過選擇合适的 layer 對模型進行深度擴增後，新增 layer 的 input/output cosine 越接近 1.0，即擴增後的模型性能越能保持原有模型的性能，模型性能損失微弱。
依照此思路，零一萬物選擇複制 Yi-6B 相對靠後的 16 層（12-28 層 ) ，組成了 48 層的 Yi-9B。
實驗顯示，這種方法比用 Solar-10.7B 模型複制中間的 16 層（8-24 層）性能更優。
其次，怎麽個多階段訓練法？
答案是先增加 0.4T 包含文本和代碼的數據，但數據配比與 Yi-6B 一樣。
然後增加另外的 0.4T 數據，同樣包括文本和代碼，但重點增加代碼和數學數據的比例。
（悟了，就和我們在大模型提問裏的訣竅 "think step by step" 思路一樣）
這兩步操作完成後，還沒完，團隊還參考兩篇論文（An Empirical Model of Large-Batch Training 和 Don ’ t Decay the Learning Rate, Increase the Batch Size）的思路，優化了調參方法。
即從固定的學習率開始，每當模型 loss 停止下降時就增加 batch size，使其下降不中斷，讓模型學習得更加充分。
最終，Yi-9B 實際共包含 88 億參數，達成 4k 上下文長度。
Yi 系列中代碼和數學能力最強
實測中，零一萬物使用 greedy decoding 的生成方式（即每次選擇概率值最大的單詞）來進行測試。
參評模型爲 DeepSeek-Coder、DeepSeek-Math、Mistral-7B、SOLAR-10.7B 和 Gemma-7B：
（1）DeepSeek-Coder，來自國内的深度求索公司，其 33B 的指令調優版本人類評估超越 GPT-3.5-turbo，7B 版本性能則能達到 CodeLlama-34B 的性能。
DeepSeek-Math則靠 7B 參數幹翻 GPT-4，震撼整個開源社區。
（2）SOLAR-10.7B來自韓國的 Upstage AI，2023 年 12 月誕生，性能超越 Mixtral-8x7B-Instruct。
（3）Mistral-7B則是首個開源 MoE 大模型，達到甚至超越了 Llama 2 70B 和 GPT-3.5 的水平。
（4）Gemma-7B來自谷歌，零一萬物指出：
其有效參數量其實和 Yi-9B 一個等級。
（兩者命名準則不一樣，前者隻用了 Non-Embedding 參數，後者用的是全部參數量并向上取整）
結果如下。
首先在代碼任務上，Yi-9B 性能僅次于 DeepSeek-Coder-7B，其餘四位全部被 KO。
在數學能力上，Yi-9B 性能僅次于 DeepSeek-Math-7B，超越其餘四位。
綜合能力也不賴。
其性能在尺寸相近的開源模型中最好，超越了其餘全部五位選手。
最後，還測了常識和推理能力：
結果是 Yi-9B 與 Mistral-7B、SOLAR-10.7B 和 Gemma-7B 不相上下。
以及語言能力，不僅英文不錯，中文也是廣受好評：
最最後，看完這些，有網友表示：已經迫不及待想試試了。
還有人則替 DeepSeek 捏了一把汗：
趕緊加強你們的 " 比賽 " 吧。全面主導地位已經沒有了 ==
傳送門在此：
https://huggingface.co/01-ai/Yi-9B
參考鏈接：
https://mp.weixin.qq.com/s/0CXIBlCZ7DJ2XjYT6Rm8tw
https://twitter.com/01AI_Yi/status/1765422092663849368
