ChatGPT 爆火，Meta 也坐不住了。
微軟和谷歌正在搜索引擎那邊刺刀拼刺刀呢，誰想 Meta 冷不防抛出一篇新論文，頓時吸引全場目光：
瞄準 ChatGPT 的 " 軟肋 "，讓大語言模型自行學會了使用工具！
簡單來說，基于 Meta 的這個思路，ChatGPT 這些大語言模型可以缺啥補啥：
不會算數，就自己掏出計算器計算；需要最新信息，就自己連接搜索引擎搜索……
是不是有點 AI 自己操作自己内味兒了？
論文一出，不少 AI 研究者就将其視作 "過去幾周裡最重要的論文"。
這篇論文給人們打開了思路，讓大語言模型未來可以成為所有事情的起點。
還有網友表示：我老婆原本不太關心 AI，聽說 Meta 這論文都驚了。普通人真的得好好想想這事兒了。
自學工具用法的大語言模型
這一回，Meta 給這個會使工具的語言模型起名Toolformer。
Toolformer 的内核邏輯，總結下來很簡單，就是：
專業的任務交給專業的工具來做。
在生成文本的過程中，遇到特定的任務，Toolformer 會直接調用所需工具的 API。
比如說，在執行這個任務：1400 名參與者，有 400 人通過了測試，占多大比例？（為了讓 ChatGPT 掌握數學運算，OpenAI 可沒少折騰【加鍊接：ChatGPT 連夜叠代：你老婆不好使了】）
Toolformer 絲毫不慌，直接 " 掏出 " 計算器，現場計算得出結果：29%。
又或者說，想要備注個事情，隻知道是周五，具體日期還不知道？
沒關系，翻出日曆查一下就好了。
甚至翻譯任務也可以直接丢給它，各國語言都能夠識别并翻譯，直接省去了在軟件切換語言的工夫。
除了這些工具之外，Toolformer 還能夠調用 Q&A 以及搜索引擎等工具。
這時，就已經有網友開始暢想未來了：
現在，ChatGPT 版必應能幫你比較酒店價格，那未來有了 Toolformer，預定性價比高的酒店豈不是也可以甩給 AI 去做了。
不過話說回來，Toolformer 面對不同的任務都能行雲流水般地調用對應的工具，它是怎麼做到的呢？
一言以蔽之，Toolformer 經過訓練，能夠在生成文本中插入 API 調用，直接将任務外包出去。
在這其中，訓練的過程是以自監督的方式完成的。這意味着無需大量人類标注好的數據，Toolformer 隻需要少量演示就能學會調用 API。
具體來說，先給 Toolformer 提供少量已經手動标注好的例子，然後讓語言模型在實踐中生成一個更大的包含示例的數據集。
這個過程主要分成三步：
首先是取樣，通俗點講就是看輸入的文本提示中，哪個地方需要調用哪種工具，然後直接将 " 調用的 API" 插入到對應的地方；
其次是執行，執行上一步的 " 調用 API" 任務，将生成的文本直接插入進去；
最後是過濾，上一步中工具生成的文本如果對輸入文本來說用處不大的話，就可以直接 pass 掉，保留對文本有用的地方。
這樣一來，基于這些有用的數據集，Toolformer 便可以對預先訓練好的大語言模型進行微調。
講了這麼多，Toolformer 的真實效果到底如何，有沒有一個橫向的數據對比？
論文将 Toolformer 和多個其他大語言模型，包括 GPT-J，OPT（66B）以及 GPT-3（175B）進行了對比，比較了它們在數學、Q&A 以及機器翻譯等方面的能力。
結果顯示，在學習使用工具後，GPT-J 的零樣本學習性能的到了顯著的提高。
△Toolformer：是在 GPT- J 上微調，并加強了 CCNet 子集中的 API 調用 / Toolformer （disabled）：同上，但解碼期間禁用 API 調用
并且在大多數任務上性能都有明顯提高，在一些下遊任務中 Toolformer 甚至已經超過了 GPT-3。
" 未來大語言模型發展的重要分支 "
說到這裡，不知道你怎麼看這件事兒。
有不少網友是已經按捺不住，想着去拔 AI 電源了。
而引發更多讨論的，是這樣一種觀點：Toolformer 可能是未來 LLM（大語言模型）發展的一個重要分支。
大語言模型進化出使用工具的能力，知道應該在何時、使用何種工具來實現需求，也就意味着許多在今天還需要人類和 AI 協作完成的工作，未來 AI 都能自己搞定了。
比如現在還多少有些 " 人工智障 " 的語音助手，如果背後有 ChatGPT+Toolformer 的技術能力支撐，那麼從挑選符合需求的餐廳，到直接訂座，這一系列動作都可以被絲滑地串聯起來。
又比如微軟的必應搜索接入 ChatGPT。如果這些大語言模型能充分調用各種 API、使用 UI，那它不僅能幫人們完成搜索，還能完全改變人們操作網頁的方式——一切輸入都可以化簡為自然語言。
甚至，ChatGPT 這樣的模型，借助各種 API 重寫自己的代碼，也将成為可能。
事實上，讓 AI 掌握工具的使用方法這個研究方向，也并不隻有 Meta 在做。
比如谷歌即将嵌入到搜索中的Bard，背後模型 LaMDA 就内置了一套工具箱，包括計算器、翻譯器和訪問搜索引擎獲取外部信息的接口。
還有開源項目LangChain，也緻力于将大語言模型與外部的計算、知識來源相結合，以開發真正可用的應用程序。
而現在，Meta 又使大模型對工具的使用 " 熟練度 "、" 自主性 "，更上一層樓。
不過，也有網友指出，Toolformer 所展現出的 " 自學 " 能力，還是一個初級、" 狹義 " 的版本。
這些模型本身仍然是純粹的函數：給定相同的輸入（包括采樣時的随機值），它将總是産生相同的輸出。
有點像是在說，一個大語言模型能學會将特定領域的語言作為其自然語言的一部分，以此納入來自外部工具的知識。
One More Thing
Meta 新論文炸場，還挑動了人類的 " 反思 " 神經。
這不，新鮮梗圖已經出爐：
人類在沉迷，而機器在學習。
論文地址：
https://arxiv.org/abs/2302.04761
參考鍊接：
[ 1 ] https://twitter.com/timo_schick/status/1624058382142345216
[ 2 ] https://twitter.com/mathemagic1an/status/1624870248221663232
[ 3 ] https://twitter.com/Tisoga/status/1624543837745192960
