國内規模最大的開源大模型來了：
參數 650 億、基于 2.6-3.2 萬億 token 訓練。
排名僅次于 " 獵鷹 " 和 " 羊駝 "，性能媲美 GPT3.5，現在就能無條件免費商用。
它就是來自深圳元象公司的 XVERSE。
根據算力、資源限制和具體任務需求的不同，我們能對它進行任何自由修改或蒸餾。
除了規模大，它還具有 16k 上下文，支持 40 多種語言，并還有 7B、13B 兩個版本可選。
具體什麽來頭？
國内規模最大的可商用大模型來了
研究表明，參數量越高，高質量訓練數據越多，大模型性能才能不斷提升。
而業界普遍共識是達到 500 到 600 億參數門檻，大模型才能 " 智能湧現 " ，在多任務中展現強大性能。
但訓練此量級模型成本高昂，技術要求較高，目前主要爲閉源付費提供。
在國外開源生态中，Llama2-70B 和 Falcon-180B 等标杆模型爲 " 有條件 " 開源，設置了月活躍用戶數或收入等商用上限，并因缺乏訓練數據在中文能力上有明顯短闆。
在此，爲推動國産大模型開源生态與産業應用發展，元象 XVERSE 公司宣布開源 650 億參數高性能通用大模型 XVERSE-65B，無條件免費商用。13B 模型則全面升級，提高 " 小 " 模型能力上限。
元象 XVERSE 創始人姚星表示：" 面對研發時間緊、算力持續短缺等挑戰，團隊在三個月内研發出多款高性能 7B、13B 模型，并最早爲社區獻上一個‘大有可爲’的 65B 模型。"
XVERSE-65B 底座模型在 2.6 萬億 Tokens 的高質量數據上從頭訓練，上下文窗口擴展至 16K，支持中、英、俄、法等 40 多種語言。
顯著提升了三方面能力：
一、理解、生成、推理和記憶等基礎能力，到模型的多樣性、創造性和精度表現，從優異到強大；
二、擴展了工具調用、代碼解釋、反思修正等能力，爲構建智能體（AI Agent）奠定技術基礎，提高模型實用性；
三、顯著緩解 7B、13B 中常見且可能很嚴重的幻覺問題，減少大模型 " 胡說八道 "，提高準确性和專業度。
元象大模型系列均爲全自研，涵蓋多項關鍵技術與研發創新：
1、複雜分布式系統設計：
借鑒團隊研發騰訊圍棋 AI" 絕藝 "、王者榮耀 AI" 絕悟 " 等大系統上的豐富經驗，自研高效算子、顯存優化、并行調度策略、數據 - 計算 - 通信重疊、平台與框架協同等關鍵技術，打造高效穩定的訓練系統， 千卡集群峰值算力利用率達 58.5%，位居業界前列。
2、全面提升性能：
65B 訓練中采用 FlashAttention2 加速計算， 3D 并行基礎上采用虛拟流水線（virtual pipeline）技術，降低較長流水線産生過高氣泡率，提升計算推理效率；上下文窗口長度從 8K 逐步提升到 16K，使其不僅能出色完成複雜任務，包括長文理解、長文生成和超長對話，還拓展了工具調用、代碼解釋及反思修正能力，能更好構建智能體（AI Agent）。
3、極緻提升訓練穩定性：
因計算量龐大，通信擁塞、芯片過熱或計算節點故障成爲 65B 訓練常态，初期出現過一周最高八次故障的情況。
通過集群基礎設施運營、資源調度、訓練框架和調度平台協同等持續優化，元象打造出高穩定、低中斷、強容錯的訓練系統，将每周有效訓練率提升至 98.6%。
此外，在接近 1.6 萬億 Tokens 的模型訓練中期，損失函數産生了 NaN 值，可能導緻訓練中斷。
通常情況下，業界一般會在分析後删除與之相關的數據區間。
而團隊根據經驗判定這是模型自然演化，選擇不删除數據，直接跳過相關參數更新，最終 NaN 值 問題解決。
後期對參數值、激活值、梯度值等中間狀态的進一步分析表明，該問題可能與模型最後一層 transformer block 激活值的最大值變化有關，并會随最大值的逐漸降低而自行解決。
性能媲美 GPT3.5
爲确保業界能對元象大模型性能有全面、客觀、長期認知，研究人員參考了一系列權威學術測評，制定了涵蓋問答、理解、知識、推理、數學、代碼等六個維度的 11 項主流權威測評标準，将持續使用并叠代。
XVERSE-65B 在國内尚無同量級模型可對比，在與國外标杆對比測評中，部分指标超越、綜合性能媲美 GPT3.5；全面超越開源标杆 Llama2-70B 和 Falcon-180B；與 GPT4 仍有差距。
全面升級的 XVERSE-13B-2，比同尺寸模型增加大量高質量數據，訓練數據高達 3.2 萬億， 極大提升了 " 小 " 模型的能力上限。
它文理兼修，保持了文科優勢，問答提升 18%，理科長足進步， 代碼提升 149%、數學提升 198%，在測評中全面超越了 Llama2、Baichuan2 等國内外開源标杆。
元象同時提供模型訓練、推理、部署、精調等全方位技術服務，賦能文娛、金融、醫療等各行各業，幫助在智能客服、創意寫作、精準推薦等多場景打造行業領先的用戶體驗。
2023 年 10 月， 騰訊音樂率先宣布與元象大模型建立戰略合作 ，共同推出 lyraXVERSE 加速大模型、全面升級其音樂助手 "AI 小琴 "，未來還将持續探索 AI 與 3D 前沿技術。
關于元象
元象 XVERSE 于 2021 年初在深圳成立，主營 AI 與 3D 技術。
累計融資金額超過 2 億美元，投資機構包括騰訊、高榕資本、五源資本、高瓴創投、紅杉中國、淡馬錫和 CPE 源峰等。
元象創始人姚星是前騰訊副總裁和騰訊 AI Lab 創始人、國家科技部新一代人工智能戰略咨詢委員會成員。
