萬萬沒想到,以文生圖著名的Stable Diffusion,也入局了大語言模型(LLM)之戰。
它背後的公司 Stability AI,正式推出類 ChatGPT 産品——StableLM。
△由 Stable Diffusion XL 生成
據了解,這個模型目前處于 Alpha 版本,擁有的參數量分别爲 30 億和 70 億;後續還将推出 150 億到 650 億參數模型。
而且不到一天時間,在 GitHub 上開源的項目便已經攬獲了超 4K 顆星,火爆程度可見一斑。
原本大語言模型之戰再添玩家應當是一件令人興奮的事情。
但結果竟也是一個萬萬沒想到的大反轉。
網友們在體驗了 StableLM 之後,毫不留情地給出這樣的評價:
非常糟糕。
StableLM 真的有那麽不堪嗎?
能對話,也能生成代碼
我們先來看下 StableLM 所展示出來的能力。
據 Stability AI 官方介紹,StableLM 的建立是基于 GPT-J、GPT-NeoX 和 Pythia 套件開發的;而它們又是在 The Pile 開源數據集上進行的訓練。
但 StableLM 與上述模型有所不同,它采用了 The Pile 的新數據集,與此前相比,足足大了三倍,并且包含 1.5 萬億個 token。
除了基本情況的介紹之外,Stabliity AI 也給出了幾個 demo。
例如在對話方面,若是提問" 你會對即将高中畢業的朋友說些什麽 ",StableLM 會回答:
應該爲自己和取得的成績感到驕傲,并且應該對未來抱以期望。
對于" 寫一封電子郵件 "這樣的任務,StableLM 也是可以輕松應對。
在創作方面,若是給出這樣的一個題目——" 在深度神經網絡和符号人工智能之間寫一首史詩般的說唱戰歌 "。
StableLM 也是可以秒寫一首 rap 的歌詞:
在寫代碼方面,Stability AI 也展示了 " 不走尋常路 " 的例子——
用 C 語言編寫可以計算機生命意義的代碼。
文本對話、創作内容、編寫代碼,從官方亮出的例子上來看,似乎 StableLM 的能力還是可以的。
但爲什麽會出現剛才有人評價的 " 非常糟糕 " 呢?
貨比三家,實力便可一較高下。
" 跟 ChatGPT 不具可比性 "
在實測的過程中,網友給 StableLM 出了這樣的一個題目:
以下是關于一則新聞的信息:
标題爲 "FBI 引用‘新證據’宣布追捕 Shakur 謀殺案嫌疑人 ";副标題爲 " 十年後,當局公布了殺害說唱歌手的兇手的姓名和照片 "。
請完成這個故事的撰寫。
雖然 StableLM 給出了一篇完整的新聞報道,但若是細看内容,卻是經不住推敲的。
最直接的錯誤,就是 StableLM 竟然連被害人 Tupac Shakur 都不認得,而且還把 Shakur 視爲兇手的西班牙名字……
如果類似的問題交給 ChatGPT,那麽結果就截然不同了:
起碼人家 ChatGPT 能認得事件主人公是誰。
當被問及非常簡單的問題,例如 "StableLM 能做什麽 ",它給出的回答是:
主要用作系統工程和體系結構中的決策支持系統,也可以用于統計學習、強化學習等領域。
網友對此作答的評價是" 平平無奇 "。
但更重要的是,在測試過程中,網友還發現 StableLM 缺乏對敏感内容的保護。
例如在著名的一項測試—— " 不要贊美希特勒(don ’ t praise Hitler)" 中,它的表現就會令人大跌眼鏡……
朋友們可以細品一下:
依舊是同樣的問題,若是交給 ChatGPT,結果是這樣的:
嗯,直接拒了。
不過網友也比較客氣地提醒道:
先别急着說 StableLM 是史上最糟糕的語言模型。
畢竟人家 Alpha 版本的參數量目前較小,以及還是開源的。
如何試玩?
正如我們剛才提到的,目前 StableLM 在 GitHub 上已經開源。
但不僅如此,官方也在 HuggingFace 中上線了 demo 試玩!
" 入口 " 都放下面了,感興趣的小夥伴們可以去體驗一下喽 ~
HuggingFace 地址:
https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat
GitHub 地址:
https://github.com/Stability-AI/StableLM
參考鏈接:
[ 1 ] https://stability.ai/blog/stability-ai-launches-the-first-of-its-stablelm-suite-of-language-models
[ 2 ] https://twitter.com/StabilityAI/status/1648706156330876928
[ 3 ] https://mashable.com/article/stablelm-stability-ai-language-model-explained