終于,清華大學唐傑團隊也出手了。
就在 GPT4 發布的同一天,唐教授在微博宣布:
基于千億參數大模型的對話機器人 ChatGLM,現在開啓邀請制内測。
據介紹,ChatGLM 專門針對中文進行了優化,可以說是國人友好~
看起來,寫博客提綱、創作劇本、解數學題、寫代碼,甚至是扮演高冷禦姐,它都拿捏的死死的:
△ 寫介紹 ChatGLM 的博客提綱
△ Cosplay 聊天扮演高冷禦姐
量子位有幸拿到了内測名額,将在後文進行一波實測。
與此同時,還有另一個消息宣布:
唐傑團隊爲了與社區一起更好地推動大模型技術的發展,同時開源了包含 62 億參數的雙語ChatGLM-6B模型。
它最大的特點是在普通電腦上就能進行部署,有一塊 2080Ti 就行。
一起來看看。
能寫文言文緻辭,知道何恺明最新動态,但……
先看 ChatGLM,它是唐傑團隊大模型家族時隔半年誕生的一位新成員。
alpha 内測版名稱叫 QAGLM(全稱 qa-glm-v0.7)。
淺試一下效果。
首先,我們讓它說了一下它和 ChatGPT 的區别。
它點出了自己的研發機構,和擅長中文的特點。
那麽,就讓它用文言文寫個緻謝詞叭。
咋說,雖然多了一個 " 餘 "、出現了一個莫名其妙的繁體字,但讀着還可以,用的排比句增強了氣勢。
接着,我們把前幾日矽谷暴雷的文章開頭丢給它,讓它起個标題。
感覺還不錯,起碼抓住了幾個關鍵信息。
不幸的是,論文挑戰沒有通過,我們把 GLM-130B 的鏈接扔給它,讓它簡要概括一下主題時,它說的根本不是這篇。
跟 ChatGPT 胡鄒參考文獻的操作簡直有得一拼(手動狗頭)。
接下來,考考它的數學能力吧。
這道小學應用題沒問題:
不過雞兔同籠,就難倒它了,最後居然還算出了負數 ==
編程方面,也可以解決簡單的算法題。
歸納信息能力呢?我們給了一段英文需求,不難:
結果正确:
需要注意的是,目前 ChatGLM 每輪對話最多隻可以進行 5 個來回,每次最多輸入 1000 字。
它對新信息的掌握度不錯,知道推特現在的 CEO 是馬斯克,也知道何恺明 3 月 10 日回歸學界的事情,但還沒發現 GPT-4 已經發布了。
以及,目前響應速度還是非常快的,無論什麽問題,回答得對不對,基本幾秒内就能給出答案。
最後,量子位也讓它來了個 cosplay,看看哄女朋友的本事如何:
emmm,雖然有點闆正,但聽完這段話 " 我 " 的氣确實消了。
那麽,以上就是我們的測試結果,各位覺得如何?
基于 1300 億參數的基座模型打造
據官方介紹,ChatGLM 參考了 ChatGPT 的設計思路,在千億基座模型GLM-130B中注入了代碼預訓練,通過有監督微調等技術來實現人類意圖對齊(就是讓機器的回答符合人類價值觀、人類期望)。
這個 GLM-130B 的來頭值得說道一番。
它是由清華大學知識工程實驗室 ( KEG ) 與智譜 AI 共同研發的一個大規模中英文預訓練語言模型,參數 1300 億,去年 8 月正式對外發布。
不同于 BERT、GPT-3 以及 T5 的架構,GLM-130B 是一個包含多目标函數的自回歸預訓練模型。
它的優勢包括:
在 Stanford 報告的 30 個世界主流大模型評測中,GLM-130B 也成爲了亞洲唯一入選的模型。
且獲得了不錯的成績:
比如在準确性和惡意性指标上與 GPT-3 175B ( davinci ) 接近或持平,魯棒性和校準誤差在所有千億規模的基座大模型(作爲公平對比,隻對比無指令提示微調模型)中也可圈可點。
而就在 CCF 最近的一場會議上,有現場觀衆提問:ChatGPT 爲什麽沒有誕生在中國?是我們沒有關注這件事嗎?
嘉賓就把 GLM-130B 搬了出來(它也入選了 ICLR ’ 23)。
現在,GLM-130B 也終于被派上了 " 大用場 "。
關于内測,唐傑團隊表示,後續會逐步擴大範圍,有興趣的朋友可以再等一等。
60 億參數的縮小版同時開源
除了這個聊天機器人 ChatGLM,唐傑團隊這次也把 GLM-130B 的 " 縮小版 "ChatGLM-6B開源了出來。
△ GitHub 已經攬獲近 2k 标星
ChatGLM-6B 使用與 ChatGLM 相同的技術,初具中文問答和對話功能。
特點如下:
當然,缺點就是容量隻有 60 億,其模型記憶和語言能力較弱,不擅長邏輯類問題(如數學、編程),以及多輪對話可能會出現上下文丢失和理解錯誤的情況。
但它主打的就是一個低門檻,在單張 2080Ti 上就能進行推理使用,硬件需求不高。
傳送門:
https://chatglm.cn/
https://github.com/THUDM/ChatGLM-6B
參考鏈接:
[ 1 ] https://weibo.com/2126427211/MxlsQ6w4A#repost
[ 2 ] https://chatglm.cn/blog?continueFlag=d70d7590143c950d12ac7283214d879d