國産大模型隊伍正當 " 百模大戰 " 之際，現在又添一員——
BBT-2，全稱 BigBang Tansformer-2（乾元 2），120 億參數的通用大模型。
以其爲基礎，項目團隊還訓練出了代碼、金融、文生圖等專業模型。
根據官方數據，其中的代碼大模型在 CSDN 的自動編程評測标準上能達到 C3，和 GPT-3.5 處于同一等級 " 條件自動編程 "。
目前，專業的代碼問答，已有 demo 可在線試玩～
據悉，BBT 系列模型其中3 個即将開源到 GitHub、UCloud 和官網，開箱可用。
會一并開源的還有近 1000 億 tokens 的通用和金融預訓練語料，以及 8 個中文金融大模型的評測數據集。
而這個項目的背後，是超對稱公司和複旦大學知識工場實驗室。
術業有專攻的 BBT-2 系列
BBT-2，是基于 GPT Decoder-only 架構的大模型，同系列 BBT-1 模型的 2 億參數版本去年已經開源。
此次發布的 BBT-2 系列模型，包含以下 6 個：
BBT-2-12B-Text：120 億參數的中文基礎模型
BBT-2.5-13B-Text：130 億參數的中文 + 英文雙語基礎模型
BBT-2-12B-TC-001-SFT：經過指令微調的代碼模型，可以進行對話
BBT-2-12B-TF-001：在 120 億模型上訓的金融模型，用于解決金融領域任務
BBT-2-12B-Image：文生圖模型
BBT-2-12B-Science：科學論文模型
總體看下來，BBT-2 系列既有通用大模型，也有術業有專攻的垂域模型。
通用模型
先看通用方面，利用 BBT-2，可以進行通用性的人機對話——
比如做一道居家旅行必備家常快手菜：
又或者每天編一個童話故事，講給不肯睡覺的小朋友：
再或者提綱挈領，寫個論文綱要：
專業模型
而專業模型提供的能力就相對聚焦。
利用BBT-TC，完成代碼撰寫——這個代碼模型，是在百億基座模型 BBT-2-12B-Text 後接續訓練代碼數據集，并通過有監督執行微調（supervised fine-tuing）等技術，實現人類意圖對齊。
BBT-TC 是微調模型，比其通用大模型推理快不少。因此，代碼問答也是本次 BBT 開放的最主要的能力。
官方公布數據，專業測評中，BBT-TC 寫代碼的能力次于 GPT-3.5，但高于 Copilot。
△各産品分項得分（150 分制）
實際測評中，BBT-TC 會出現大部分代碼模型都存在的問題，就是首次回答不完全正确，隻有在多次提問後，才會微調出正确答案。
如讓它設計一個簡化版的推特，并附帶一些額外功能。
首次給出的回答，并沒有查看推文這部分的代碼功能，卻擅自增加了顯示用戶列表的部分。
但再多嘗試幾次，也會出現一個比較不錯的答案。
體驗過程中還發現，偶爾 BBT-TC 還會出現隻提供代碼實現思路，而非直接生成代碼的情況。
也就是說，想要一次性生成能夠成功運行的代碼，還是需要一些特殊的 prompt 輸入技巧。
（prompt 工程師的重要性突然體現）
代碼模型外，利用對标 BloombergGPT 的金融模型BBT-2-Finance，也可以完成金融領域的具體任務。
訓練過程中，BBT-2-Finance 搜集和爬取了幾乎所有公開可以獲得的中文金融語料數據。
比如過去 20 年主流媒體的财經新聞、上市公司公告和财報、金融社交平台用戶發帖等。
所以用戶可以用它從長篇文本中抓關鍵信息，撰寫摘要：
△ChatGPT 和 BBT-2-Finance 同題對比
和 ChatGPT 相比，BBT-2-Finance 的摘要更簡潔，同時也沒落下重要信息。
還能針對金融行業對數字的高精度需求，對單位進行換算：
△ChatGPT 和 BBT-2-Finance 同題對比
如上同題對比，ChatGPT 就弄錯了單位換算，但 BBT-2-Finance 完成了正确的單位轉換。
淺試了一下，表格什麽的也能解讀且摘取相應文字：
專業領域，除了文字生成，還有個文生圖模型BBT-Image。
和一般生成逼真圖像的文生圖模型不同，BBT-Image 專門針對紡織行業，可以生成具有紋理、色彩和設計元素的紡織品團。
可以對比一下它和 Stable Diffusion 的生成效果。
△prompt：熱帶花卉芙蓉花，熱帶葉子，水彩效果圖案，黑色背景，無縫圖，循環圖
△prompt：五顔六色的水母圖案，細節清晰，無縫圖，循環圖
至于在科研論文上訓練構建的BBT-Sicence，官方稱可以應用在物理、化學、生物、數學領域，它能提供的能力主要有三方面：
一是快速精準的知識檢索；
二是針對所研究領域的前沿問題提供新的 ideas；
三是利用多學科知識訓練出的能力提供跨學科的建議。
還要提一句，整個 BBT 系列中的3 個模型即将開源，分别是金融模型 BBT-1-1B、基礎模型 BBT-2-12B-Text、基礎模型 BBT-2.5-13B-Text。
背後團隊
一系列操作的幕後玩家，是超對稱技術公司和複旦大學知識工場實驗室。
超對稱技術公司在去年 5 月，發布了大模型 BigBang Tansformer（乾元）的第一版 BBT-1，在中文金融語料上訓練而成的 10 億參數模型。
複旦大學知識工場實驗室，源于複旦圖數據管理實驗室（GDM@FUDAN），由教授肖仰華領銜。
整個過程，超對稱公司主導預訓練部分，指令微調和評測工作則聯合複旦大學知識工場實驗室完成。
據悉，有了系列模型後，背後團隊也開始緻力于對科學大模型進行評測。
超對稱合作複旦、上海交大、浙大、南航、中山、北師大等多所大學，号召全球一線科研人員共同構建科研問題評測數據集ResearchQA，覆蓋數學、物理、化學、生物、地理地質、計算機和電子工程等前沿科研領域。
ResearchQA 提交郵箱：[email protected]
BBT-2 地址：https://www.ssymmetry.com/
— 聯系作者 —
