一夜之間，大模型界又炸出個 big news！
斯坦福發布Alpaca（羊駝，網友口中的 " 草泥馬 "）：
隻花 100 美元，人人都可微調 Meta 家 70 億參數的 LLaMA 大模型，效果竟可比肩 1750 億參數的 GPT-3.5（text-davinci-003）。
而且還是單卡就能運行的那種，甚至樹莓派、手機都能 hold 住！
還有一個更絕的 " 騷操作 "。
研究所涉及到的數據集，是斯坦福團隊花了不到 500 美元用 OpenAI 的 API 來生成的。
所以整個過程下來，就等同于 GPT-3.5 自己教出了個旗鼓相當的對手 AI。
（薅羊毛高手……）
然後團隊還說，用大多數雲計算平台去微調訓練好的模型，成本也不到 100 美元：
複制一個 GPT-3.5 效果的 AI，很便宜，很容易，還很小。
而且團隊還把數據集（秒省 500 刀）、代碼統統都給開源了，這下子人人都能去微調個效果炸裂的對話 AI：
項目在 GitHub 發布才半天時間，便已經狂攬 1800+ 星，火爆程度可見一斑。
Django 聯合開發者甚至對斯坦福的新研究用 " 驚天大事 " 來形容：
不僅如此，斯坦福團隊還搞了個 demo，在線可玩的那種。
話不多說，我們現在就來看看這個 " 草泥馬 " 的效果。
比肩 davinci-003 的草泥馬 Aplaca
在斯坦福官方的演示中，他們先小試牛刀地提了一個問題：
什麽是羊駝？它和美洲駝的區别是什麽？
草泥馬 Aplaca 給出的答案較爲幹練：
羊駝是一種小型駱駝科動物，原産于秘魯、玻利維亞、厄瓜多爾和智利；它比美洲駝小，羊毛更細，也沒有駝峰。
而後又簡單的介紹了二者群居生活的不同。
同樣的問題若是交給 ChatGPT（GPT3.5-turbo），則答案就不會像草泥馬 Aplaca 那般簡潔：
對此，團隊給出的解釋是：
Alpaca 的答案通常比 ChatGPT 短，反映出 text-davinci-003 的輸出較短。
而後團隊演示了讓草泥馬 Alpaca寫郵件：
寫一封 e-mail 祝賀被斯坦福大學錄取的新生，并提到你很高興能親自見到他們。
草泥馬 Alpaca 對于這個任務也是信手拈來，直接給出了一個像模像樣的郵件模闆：
難度再次進階，團隊這次提出了讓草泥馬 Alpaca寫論文摘要的需求：
寫一篇經過深思熟慮的機器學習論文摘要，證明 42 是訓練神經網絡的最優 seed。
草泥馬 Alpaca 給出的答案從内容上來看，非常符合大多數論文的摘要形式：試圖回答什麽問題、用了什麽方法、結果如何，以及未來展望。
當然，也有迫不及待的網友親自下場試驗，發現草泥馬 Alpaca 寫代碼也是不在話下。
不過即便草泥馬 Alpaca 能夠 hold 住大部分問題，但這并不意味着它沒有缺陷。
例如團隊便演示了一個例子，在回答 " 坦桑尼亞的首都是哪裏 " 的問題時，草泥馬 Alpaca 給出的答案是 " 達累斯薩拉姆 "。
但實際上早在 1975 年便被 " 多多馬 " 取代了。
除此之外，若是親自體驗過草泥馬 Alpaca 就會發現，它……巨慢：
對此，有網友認爲可能是使用的人太多的原因。
筆記本、手機、樹莓派都能跑
Meta 開源的 LLaMA 大模型，剛發布幾周就被大家安排明白了，單卡就能運行。
所以理論上，基于 LLaMA 微調的 Alpaca 同樣可以輕松在本地部署。
沒有顯卡也沒關系，蘋果筆記本甚至樹莓派、手機都可以玩。
在蘋果筆記本部署 LLaMA 的方法來自 GitHub 項目 llama.cpp，使用純 C/C++ 做推理，還專門對 ARM 芯片做了優化。
作者實測，M1 芯片的 MacBook Pro 上即可運行，另外也支持 Windows 和 Linux 系統。
還是這個 C++ 移植版本，有人成功在 4GB 内存的樹莓派 4 上成功運行了 LLaMA 的 70 億參數版本。
雖然速度非常慢，大約 10 秒生成一個 token（也就是一分鍾蹦出 4.5 個單詞）。
更離譜的是僅僅 2 天之後，有人把 LLaMA 模型量化壓縮（權重轉換成更低精度的數據格式）後成功在 Pixel 6 安卓手機上運行（26 秒一個 token）。
Pixel 6 使用谷歌自研處理器 Google Tensor，跑分成績在骁龍 865+ 到 888 之間，也就是說新一點的手機理論上都能勝任。
微調數據集也開源
斯坦福團隊微調 LLaMA 的方法，來自華盛頓大學 Yizhong Wang 等去年底提出的 Self-Instruct。
以 175 個問題作爲種子任務，讓 AI 自己從中組合出新的問題以及生成配套答案實例，人工過濾掉低質量的，再把新任務添加到任務池裏。
所有這些任務，之後可以采用 InstructGPT 的方法讓 AI 學會如何遵循人類指令。
套娃幾圈下來，相當于讓 AI 自己指導自己。
斯坦福版 Alpaca，就是花了不到 500 美元使用 OpenAI API 生成了 5.2 萬個這樣的示例搞出來的。
這些數據同樣開源了出來，并且比原論文的數據多樣性更高。
同時還給出了生成這些數據的代碼，也就是說如果有人還嫌不夠，可以再去自行擴充微調數據，繼續提高模型的表現。
微調代碼也會在 HuggingFace 官方支持 LLaMA 後放出。
不過 Alpaca 最終的模型權重需要 Meta 許可才能發布，并且繼承了 LLaMA 的非商用開源協議，禁止任何商業用途。
并且由于微調數據使用了 OpenAI 的 API，根據使用條款也禁止用來開發與 OpenAI 形成競争的模型。
One More Thing
還記得 AI 繪畫的發展曆程嗎？
2022 年上半年還隻是話題熱度高，8 月份 Stable Diffusion 的開源讓成本下降到可用，并由此産生爆炸式的工具創新，讓 AI 繪畫真正進入各類工作流程。
語言模型的成本，如今也下降到了個人電子設備可用的程度。
最後還是由 Django 框架創始人 Simon Willison 喊出：
大語言模型的 Stable Diffusion 時刻到了。
