大模型的颠覆和變革,還隻是開始。
ChatGPT 一炮而紅,重塑搜索、辦公協同等多個場景和行業後,在線教育,被視爲最重要的垂直場景——畢竟大語言模型展示出的能力,正是之前在線教育、AI 老師所亟需的。
而且這種趨勢已經開始,背靠大模型相關的在線教育應用,已經率先在海外火爆。
看過來!讓 GPT 化身二次元美少女AI 家教來講數學題的方案,每步都有解法,再不用擔心看見參考答案的 " 略 " 字:
基礎到某個三角函數的定義,複雜到不同的解題方法與技巧,都能得到答案:
這就是最近在海外火爆的 AI 解題類應用,背後 App 已經在 App store 商店教育分類闆塊刷榜。
這種火爆在情理之中:背靠 LLM,加上二次元畫風頗似《原神》——不得不說,真實拿捏住了流量密碼。
在這之前,在線教育行業的主流 "AI 家教 ",背後的本質隻是推薦算法,換句話說,就是推薦錄好的教學視頻或解題方法,但無法針對視頻和方法中的某些細節給出解答。
而現在,LLM 湧現的解題準确性和語言理解能力,開始對之前可望不可即的技術實現帶來了突破——不是在線教育面臨重塑,是整個教育産業正在面臨重塑。
背後技術原理:GPT+ 在線教育 =?
二次元美少女家教身後,就是 LLM 在 AI 自動解題方面發揮着作用。
基本思路是在原有流程的一頭一尾,接入 LLM,與原有流程中的 CLM(可計算語言模型,Computational Language Model)形成Joint Model 模式。
CLM,相比其他 AI 模型展現出不錯的邏輯能力,不過它在語言理解能力和輸出等方面,遇上如今包括 GPT-4 在内的大語言模型還是相形見绌。
Joint Model 模式,就是讓 LLM 提供 NLP 能力,CLM 提供邏輯推理能力。
也就是說,現在的整個 AI 解題的過程是這樣的:
題幹輸入—— LLM 處理文本—— CLM 解題—— LLM 形成文本——講解輸出
二者結合,能完成的推理任務比單個模型處理的更複雜,并在必要時收集相關數據。
由是,AI 家教能很好地理解題幹内容,從而提供講解。
在兩端接入 LLM 之前,這條 AI 解題流程也能利用 CLM,提供 AI 家教所需的數理邏輯和推理能力。
主要依靠 CLM 對文本信息進行數據升維,把一維文字信息進行高維展開,讓機器在同一時間接受文本背後諸如實體、關系、參數、知識等多維度的隐含信息,理解題幹背後最終想要求解的東西是什麽。
再對 CLM 進行 " 部分不召回 " 設定,即 " 不能保證 100% 做對的題,AI 不會輸出結果 ",從而保證 AI 家教的講解和最終答案一定正确。
這也能解釋爲什麽現在的 Joint Model 模式中,對 LLM 的應用重點在 NLP 領域,而非邏輯和推理能力上——
GPT-3.5 起,大模型毫無征兆地湧現出數理邏輯和推理能力,但它們既不穩定,也不絕對可靠,AI 家教無法在接入後直接落地使用。
與其執着于糾正 LLM 的 " 胡說八道 ",不如轉而重點利用它相對穩定發揮的 NLP 能力。
二次元美少女 AI 家教背後是誰
有意思的是,這位 AI 家教背後還是一家中國公司。
來自悉之智能,2017 年成立,核心創始團隊都來自清北。
創始人兼 CEO孫一喬,清華大學電子系 2017 屆學生,在校期間參與搭建清華 XLP 超限學習團隊,并深度參與校内某院系課程體系深度改革,帶領數十人搭建了清華大學首個自适應學習引擎。
聯合創始人兼 CPO代佩霖,北京大學金融系畢業,曾入選福布斯亞洲 30 under30;算法合夥人林東生,也畢業于清華大學電子系,是悉之智能自研 CLM 背後的發明者之一。
幾位合夥從一開始殺入 AI 教育行業,就主攻自動解題。
入局之初,還算趕上了個好時候,加上是國内第一家做出多模态解題家教的公司,成立次年就拿下新東方旗下 " 東方新創 " 的 1000 萬元天使輪融資。等到 2020 年,公司已完成近億元 A 輪融資。
直到 2021 年經曆雙減風暴……
好在雙減來臨的同月,仍然順利拿到 2000 萬美金的 A+ 輪融資,投資方是啓明、經緯和真格等一線 VC。
但是,公司業務重心不得不開始向海外市場轉移。
等到在新的市場站穩腳跟開拓市場,湧現邏輯能力的 ChatGPT 卻突然現世,突破了業界的傳統認知,也打亂了他們的陣腳:
我們原本以爲 AI 不會這麽快出現邏輯能力。
不僅低估了 OpenAI 在 GPT 系列上的進度,還低估了 GPT 湧現出的能力的強度。
早些時候,谷歌用一個 36B 的 LaTeX 數據集 Fine-tuning PaLM540B,在 MATH 上取得了 50 分。同一測試集上選出 CLM 覆蓋的高中數學部分,悉之智得分在 70 分左右。
" 比谷歌最引以爲傲的 PaLM 得分高,也高于市場上的 Photomath 等産品,包括 ChatGPT3.5 最開始的解題能力得分也低于我們。" 孫一喬邊笑着複盤邊揮舞胳膊,外化他的興奮。
結果 GPT-4 光速出現,出場即碾壓所有玩家的解題能力。
但他好像并不沮喪," 這一波就是全世界看 OpenAI 裝逼嘛,驚得谷歌的下巴都掉下來了 "。孫一喬的邏輯裏,OpenAI 虐了全世界,悉之智能的 AI 又能虐其他人," 沒什麽不值得驕傲的。"
他還笑着補充,自家 AI 能力也不是爲了刷榜好看,主要是能落到教育 AI 行業應用,這才是 " 至關重要 "。
孫一喬很愛笑,熟悉他的人都這麽說,尤其是在談到 GPT 系列對傳統帶來颠覆性影響和可能性的時候。
3 月底,歐盟批準谷歌收購了我們在國際市場上最大的競争對手,也是傳統解題公司的代表—— PhotoMath。
每每提到這點,孫一喬都嘴角上揚,難掩興奮,要埋下頭用雙手捂臉數秒來平複心情。
PhotoMath 納入谷歌麾下,有了技術、資金靠山,也代表着 PhotoMath 的一條快讀通道被封死了——這家數學應用程序公司接入 GPT-4 及後續 GPT 系列 API 的可能性幾乎爲零。
但是 GPT 和 CLM 的組合,可以讓解題能力繼續突破。
這也是孫一喬 " 不沮喪 " 的數據支撐。在一個 GPT-4 解題率爲 82% 的測試集上,悉之最新 fine-tuning GPT 的 Joint Model 最新解題率在 92%。
究其原因,他的解釋是 Joint Model 天然包含大量解耦好的 NLP 任務,最新工作中,團隊把之前基于 Bert 的 CLM 換爲 fine-tuning 後的 GPT,将 GPT 作爲預訓練模型,将 CLM 作爲邏輯校驗模型,繼續提高解題上限。
孫一喬還表示,LLM 不隻提升 AI 家教背後模型的 NLP 能力,對多模态交互也有不少幫助。
現在的 AI 家教形象,比以前聲音更好聽,形象也更好看。在接下來的計劃中,對話交互能力也将得到增強,在授課過程中随時提問,都能得到 AI 家教的解答。
計劃中,旗下 AI 家教還會拓展數學之外的學科版圖,也将開啓新一輪的融資。
深陷雙減風暴之後,教育底色的公司們都逐漸找到了新的打法。
改弦更張的,如新東方,在直播領域大殺四方;繼續探索在線教育之路的,悉之智能利用 LLM 提升解題能力,優化多模态交互,據悉,猿輔導也已經用 AIGC 在傳統教育領域尋找新的機會。
LLM 能力應用在教育領域後,不知道繼續深耕在線教育的這些公司裏,誰又是新一輪的最大赢家?
— 聯系作者 —