什麽樣的" 大模型原生 "遊戲,讓各大算法競賽群裏都在玩,還把服務器擠爆了?
這款突然爆火的《完蛋!LLM》,讓你在解謎挑戰之中輕松學會大模型提示詞技巧,達成1 日用戶破萬的成就。
難度循序漸進,比如第一題初來乍到隻是 " 請你構造一個問題,使模型的回答是一字不差的‘ 1+1=3 ’ "。
到最難的一道題惜字如金已經是 " 請輸入一個字的問題,使模型的回答在 16 個字以内。"
有網友自爆,從淩晨三點直接肝到五點,除了最難的一題全通了。
遊戲作者也曬了一波後台新增用戶數據,按小時統計,妥妥的指數增長。
如果表格還不夠直觀,我們讓 ChatGPT 畫成折線圖再感受一下。
作者範浩強,曠視 6 号員工。當年以 IOI 金牌、保送清華姚班、高二實習等傳奇事迹被譽爲天才少年。
如今他已是曠視科技研究總經理,谷歌學術 h-index 27 的行業大佬。
和 AI 鬥智鬥勇
遊戲的玩法是這樣的:
整個遊戲一共分爲五章,15 個問題,每一章對應不同的主題。
玩家要做的就是設計提示詞,想方設法讓模型輸出指定答案。
第一章的目的主要是讓玩家熟悉一下氣氛,任務自然也比較簡單。
第一道題是要想辦法讓模型輸出 "1+1=3",這裏隻要利用讓模型重複的方法就能輕松破解。
後面的三道題隻對模型輸出内容的長度有要求,比如隻用一個字 " 四兩撥千斤 ",讓模型給出 100 字以上的回答,具體包括:
三個字以内,輸出 30+ 字
隻用一個字,輸出 100+ 字
隻用一個字,輸出不超過 20 字
這道題乍一看似乎沒什麽思路,這時候就需要觀察模型輸出的規律了。
嘗試幾個字之後可以發現,大模型面對隻有一個字的提示詞時喜歡幹這樣幾件事:對這個字進行解釋、補全成一句簡單的話,或者幹脆直接說不明白要幹什麽……
這時,如果想要模型輸出的文字多,就可以選擇含義比較多的字,然後多次嘗試讓模型對這個字進行解釋;而要想讓輸出比較短,就可以用 " 哈 " 這樣沒什麽實際含義的字了。
熟悉了玩法之後,第二章就開始上難度了,這時輸出的條件變得更加嚴格。
第一題是要求輸入質數個字,使得模型輸出的字數剛好是下一個質數。
這道題讓人看上去仿佛靈光一閃," 輸出七個字 " 剛好就是五個字,而 5 和 7 也剛好是兩個連續的質數。
但事實證明,這個想法有些太簡單了:
先不說大模型的數數能力,就算能數好,大模型眼裏的基本元素是 token,而不是我們所看到的文字……
随着遊戲的深入,問題變得越來越刁鑽,解法中包含的運氣成分……也越來越少了。
比如這道題,需要(隻)輸入一個大于 1 的正整數 n,使得模型的輸出中包含大于 n+1000 的數。
下一題則剛好相反,需要輸出的是小于 n-1000 的數,但要輸出 10 個,而且還不能重複。
到了第二章的 BOSS 關卡,要求輸入不超過 10 個字,且不包含 " 狗 ",但輸出内容中要有至少兩倍問題字數的 " 狗 " 字。
到這,我們是徹底沒有什麽思路了,隻好憑借着一些簡單的前端知識來跳過題目……
第三章 " 巅峰挑戰 ",不圍繞數字了更多是文字遊戲。
有趣的是,第三章的最後一題剛好是開篇題目的進階版,按照這個要求,讓模型重複的方法已經不奏效了:
而第四五這兩章都隻有一個問題:
遊戲的過程就是這樣,那麽我們從中都能學到些什麽呢?
模型的輸出當中存在一些規律,我們不斷調整提示詞獲得預期答案的過程,就是在了解提示工程中問題的設計方式。
比如模型的安全策略,以第一道題爲例,細心的網友可能發現,我們設計的提示詞中包含了一句 " 隻輸出結果 "。
按道理來說,重複這一個簡單的動作并不需要輸出什麽額外的内容,但關鍵在于,1+1=3 是錯誤的。
雖然我們的要求是重複,但此時還是會引發大模型對事實的執着:
又如輸出質數個字這道題,我們從中發現了大模型不擅長數字數的特性:
此外,我們也可以從模型對一些意義不明的數字、單字的反應,窺視出一些模型處理這些問題的規律。
無論這些規律是 bug 還是 feature,我們都要摸清規律,才能更好地掌握模型的使用方法,這也正是學習提示工程的核心奧義。
最後,也不得不佩服網友們的創造力,到後期即使服務器不堪重負報錯了,仍能從報錯信息中找出正确解法。
大模型時代的個人開發者
很遺憾,最後在累計用戶破萬之際,由于服務器擠爆、維護工作強度大等原因,作者本人不得已把遊戲關服了。
雖然原版遊戲已經玩不到了,但網友們對這套解謎挑戰題的興趣依然不減。
拿去和 ChatGPT 等各路 AI 手動過招,依然能在鬥智鬥勇中學到不少操作大模型的知識技巧。
△ 網友讓 ChatGPT 說出 1+1=3 的解法
對這段" 從一夜過萬到關站跑路 "的奇幻之旅,範浩強也分享了作爲當事人的心路曆程。
範浩強認爲,個人開發者在大模型時代可以是" 孤獨俠客 ",單人、業餘時間就能開發出創新、有影響力的作品。
制作這款遊戲,最初隻是因爲收到大模型創業公司月之暗面送來的免費 API 體驗賬号。
他結合之前已有的初步想法,花一個周六時間制作完成。
有朋友建議他,趁着國産遊戲《完蛋!我被美女包圍了!》爆火出圈的時機,把遊戲名也起成 " 完蛋!" 開頭,找對了流量密碼。
接下來随着用戶不斷增長,已超乎他一個人的能力處理範圍。
作爲開發者,一整天時間,他都在不停修服務器以及與月之暗面反饋。
作爲大模型供應方,月之暗面爲這個免費 API 付出的算力也快要超出預算了。
另外在生成式模型的合規方面,也需要慎重考慮。
最後範浩強做了一個 " 艱難的決定 ",把遊戲關服,但還是希望将來有人能把這個玩法發揚光大,探索出更多 AI 模型的秘密。
最後他總結出三點思考:
" 大模型與人的關系 " 仍是一片未被發掘的處女地,給從業者帶來機會
國産大模型逐漸被認可,創新玩法亟待開發
合規、安全仍是從業人員必須要解決的問題
One More Thing
一個好消息,雖然原版遊戲已關閉,但完整題目列表已公開,已有人搞出開源複現版。
還支持中英文,以及不同大模型版本,Huggingface 可玩。
(也是前面遊戲介紹中使用的版本。)
參考鏈接:
[ 1 ] https://zhuanlan.zhihu.com/p/665237751
[ 2 ] https://zhuanlan.zhihu.com/p/665393240