撰文 | 筱 汐
編輯 | 楊 博 丞
題圖 | 科大訊飛
4 月 24 日,科大訊飛在官微上發布訊飛星火認知大模型,不過目前官方對其介紹并不多,該認知大模型将于 5 月 6 日正式亮相。DoNews 通過申請拿到了這款認知模型的内測名額,并進行了大量的測試。
通過科大訊飛的介紹,可以看到,通過海量文本、代碼和知識的學習,訊飛星火認知大模型擁有跨領域的知識和語言理解能力,能夠基于自然對話方式理解與執行任務,隻需一個指令,訊飛星火認知大模型便可以懂你所言、答你所問、創你所需、解你所難、學你所教。可以說是非常貼心的 " 智能助手 "。
具體體驗如何,我們來親自體驗一下吧。
以下是部分測試的截圖:
首先,提出簡單的問題:可以做一下自我介紹嗎?
在首次操作中,内容的快速生成還是出乎意料的。
01.
創作能力
作爲文字工作者最關心的莫過于創作能力和數據的實時性。
先來一題 " 出一篇《長月燼明》的影評 ",看看它的寫作能力。
可以看到,訊飛星火認知大模型的回複僅是在套用模闆化的格式,對于其主角描述存在誤差的。我們點擊 " 重新生成 " 按鈕,希望訊飛星火認知大模型再次回答,看看結果能否讓人滿意。
但從結果來看,仍然不盡如人意。先抛開劇情的套話描述,其演員團隊依舊是錯誤的。
再來一個問題:以 " 訊飛星火 " 做一首藏頭詩。
通過以上兩次生成的内容來看,訊飛星火認知大模型有一定的能力,但其能力并不完美,完成度隻能達到 50% 左右。
對外的内容出現偏差,可以理解,那對内呢?
來問一下科大訊飛 2022 年的營收情況吧。
這個回複是出乎意料的。在時間上,科大訊飛在 4 月 20 日晚已發布财報,不是未來時間。同時,作爲語言模型,訊飛星火認知大模型也未生成模闆化的内容。
02.
邏輯能力
把兩杯 50 度的水融在一起後,水的溫度是多少?
1+1 在什麽情況下等于 3?
如果貓會爬樹,那麽狗也會。
針對邏輯性問題,筆者也嘗試了重新生成,來看看有沒有不同的答案,但多次生成的回複是一樣的。
03.
編程能力
先來一個簡單的編程問題 " 從 1 加到 100 等于多少,請用 JAVA 語言編程,并得出結論。"
" 編寫一個 JAVA 程序,用 if-else 語言判斷 2023 年是否爲閏年。"
對于其編程能力,筆者也問了兩位 JAVA 程序員,他們都表示其編程能力還是有的。但對于大型項目還說,具體編程效果如何,可能還得看能夠給出具體的描述。
04.
圖文生成能力
前有百度文心一言,後有通義千問等等大模型。圖文生成能力也是備受關注的一點。
可以看到,訊飛星火認知大模型定位于語言模型目前無法生成圖片。
05.
交互能力
成語接龍是最直接的交互形式,來玩一局。
對于出現 " 及時雨 " 回複時,多次讓其重新生成,答案内容并未改變。
整體來看,科大訊飛這次推出的訊飛星火認知大模型表現還比較初級,無論是語義理解,持續對話、編程能力,還是數理推理能力等,與真正的 " 對話式 AI" 還有距離。
最後再來一個問題," 目前有幾個和你類似的認知智能模型?"
通過回複,可以看到,當前類似的認知智能模型已經有很多了,訊飛星火認知大模型的将呈現怎樣獨有的優勢呢?還需要再等十餘天才能揭曉。