這波 AI 的發展，其影響蔓延到各個領域的速度之快，确實超出了大部分人的預期。上周，Sequoia（紅杉美國）認爲 AI 已經開啓了第二篇章，并從應用場景的角度繪制了新的 AI 圖譜和 LLM 開發者棧（stack）圖譜。
不過從資金的走向來看，目前 AI 的發展似乎仍然處于神仙打架階段，并且這個格局好像已經差不多成型了。在 OpenAI 拿到微軟等差不多 110 億美金的錢估值近 290 億美金後，其競争對手 Anthropic 昨天宣布與 Amazon 結盟，Amazon 最高将爲其投資 40 億美金，在融資這塊 Anthropic 成爲僅次于 OpenAI 的 AI 創業公司。
此次融資後，除了蘋果（Apple）外，AI 行業基本上形成了這樣一個神仙打架的格局：
微軟 + OpenAI
Google + DeepMind
Meta + MetaAI
Amazon + Anthropic
Tesla + xAI
當然作爲更底層基礎設施提供者的英偉達，其策略顯然是我都要，沒有非常重度的站隊具體的某一家。下面是 15 家 AI 獨角獸的一個大緻情況，從估值和融資來看，大模型 LLMs 占據了很大一部分，而 50%的 AI 獨角獸都成立于 2021 年之後：
今天，a16z 分享了他們跟多位頂級 AI 公司創始人的對話，認爲我們正處于計算的第三個時代，并從 AI 的當下、未來以及開放性角度探讨了 16 個有意思的話題。這次對話的參與者包括了：
a16z 合夥人 Martin Casado
OpenAI CTO Mira Murati
Roblox Cofounder & CEO David Baszucki
Figma Cofounder & CEO Dylan Field
Anthropic Cofounder & CEO Dario Amodei
Microsoft CTO & EVP of AI Kevin Scott
insitro Founder & CEO Daphne Koller
Databricks Cofounder & CEO Ali Ghodsi
Character.AI Cofounder & CEO Noam Shazeer
由于文章太長差不多 1 萬字，我用 AI 簡單做了一下編譯，一些術語可能不一定準确，感興趣的朋友可以去閱讀英文原文：
1我們正處于計算的第三紀元的開始
Martin Casado,a16z：
我真的認爲我們可能正在進入第三個計算時代。微芯片将計算的邊際成本降到了零，互聯網将分發的邊際成本降到了零，現在大型模型實際上将創作的邊際成本降到零。當以前的時代發生時，你不知道會有什麽新公司被創建出來。沒有人預測到亞馬遜，沒有人預測到雅虎。我們應該準備迎接一波新的标志性公司。
Noam Shazeer,Character AI：
我們确實正處于"萊特兄弟第一架飛機"的時刻。我們已經有了一些可行的東西，并且現在對于大量應用場景很有用。它的擴展性看起來非常好，并将會變得更好。但還會有更多的突破，因爲現在世界上所有的人工智能科學家都在努力讓這些東西變得更好。
Kevin Scott,微軟：
特别是在過去的幾年裏，也許特别是在過去的 12 個月裏，随着 ChatGPT 和 GPT-4 的推出，你可以真正看到該平台與個人電腦或智能手機一樣的潛力。一系列技術将使大量新事物成爲可能，許多人将在這些新事物之上構建事物。
2這波生成式人工智能浪潮具有推動市場轉型的經濟學原理
要使技術創新引發市場轉型，經濟效益必須具有強大的吸引力。雖然以往的人工智能周期中有許多技術進步，但缺乏變革性的經濟效益。在當前的人工智能浪潮中，我們已經看到了一些應用案例中經濟效益提升了10,000倍（甚至更高）的早期迹象，并且由此帶來的人工智能采納和發展似乎比以往任何一個轉變都快得多。
Martin Casado,a16z：
市場轉型并不是通過十倍的經濟改善來實現的。當它們比原來好一萬倍時，它們就會被創造出來。假設我想要創造一個将我自己變成皮克斯角色的形象。如果我使用這些圖像模型之一，推理成本是十分之一美分，并且假設需要 1 秒鍾的時間。如果與雇傭一位平面藝術家相比，我們假設每小時費用爲 100 美元。在成本和時間上，你會發現有 4 到 5 個數量級的巨大差異。對于經濟學家來說，這就是他們尋找的類型轉折點，當實際上存在着一個巨大的市場錯位時。
如果你想要一個例子來說明這會變得多麽瘋狂，我認爲你沒有理由不能生成一個完整的遊戲——3D 模型、角色、聲音、音樂、故事等等。現在的創業公司正在做所有這些事情的，如果将數億美元和數年的成本與幾美元的成本進行比較，我們現在在經濟學上存在互聯網和微芯片級别的不對稱。
3對于一些早期應用場景 創造力 > 正确性
幻覺是當今大模型 LLMs 的一個衆所周知的問題，但對于某些應用場景來說，編造事情的能力是一個功能而不是一個錯誤。
與早期應用的機器學習用例相比，其中 n 級正确性至關重要（例如自動駕駛汽車），LLMs 的許多早期用例（虛拟朋友和同伴、頭腦風暴概念或構建在線遊戲）都具有以下特點：專注于創造力比正确性更重要的領域。
Noam Shazeer,Character.AI：
娛樂是一個每年達到 2 萬億美元的産業。而這個不爲人知的秘密是，娛樂就像是你并不存在的虛拟朋友。這對于通用人工智能來說是一個很酷的首要應用案例。比如，如果你想推出一款醫生，那會慢得多，因爲你需要非常、非常、非常小心地避免提供錯誤信息。但對于朋友來說，你可以做得很快速，它隻是娛樂而已，編造事物也成了一種特色。
David Baszucki,Roblox:
在 Roblox 上的 6500 萬用戶中，大多數人并沒有以他們希望的水平進行創作。很長一段時間裏，我們想象過一個《Project Runway》的模拟遊戲，在遊戲中你可以使用縫紉機和面料，并且都是 3D 模拟的，但即使對于我們大多數人來說，這也有點複雜。我認爲現在當《Project Runway》出現在 Roblox 上時，它将會是一個文本提示、圖像提示或語音提示。如果我正在幫助你制作那件襯衫，我會說：我想要一件藍色牛仔襯衫，需要一些紐扣，并讓它更修身合體一些。實際上，我認爲我們将會看到創作加速的趨勢。
Dylan Field,Figma：
現在，我們正處于一個人工智能可能完成初稿的階段，但要從初稿到最終産品還是有些困難，并且通常需要一個團隊來完成。但如果你能讓人工智能向人們提供界面元素建議，并以一種真正合理的方式進行操作，我認爲這将開啓一個全新的設計時代，創造出根據用戶意圖響應性的上下文設計。我相信這将是所有設計師與這些人工智能系統合作共事的一個迷人時代。
4對于其他比方說編程"副駕駛"正确性會随着人類的使用而提高
盡管人工智能有潛力在許多領域增強人類工作，但編程"副駕駛"已成爲首批廣泛采用的 AI 助手，原因有幾個：
首先，開發人員通常是新技術的早期采用者——對 2023 年 5 月/6 月的 ChatGPT 提示進行分析發現，30% 的 ChatGPT 提示與編程相關。其次，最大的 LLMs 接受過包含大量代碼的數據集（例如互聯網）的訓練，這使得他們特别擅長響應與編程相關的查詢。最後，循環中的人是用戶。因此，雖然準确性很重要，但擁有人工智能副駕駛的人類開發人員可以比單獨的人類開發人員更快地叠代到正确性。
如果你必須保持正确，并且有很多複雜的使用情況，要麽你自己完成所有技術工作，要麽雇傭人員。通常我們會雇傭人員。這是一個可變成本。其次，由于解決方案的尾部往往非常長——比如自動駕駛中可能發生的許多異常情況——爲了保持領先地位所需的投資增加了，價值卻降低了。這就産生了一種反向規模經濟效應。
過去在公司的循環人員現在是用戶（That human in the loop that used to be in a central company is now the user），因此它不再是企業的可變成本，也不再是這項工作的經濟成本。循環中的人已經移出，因此，你可以做正确性很重要的事情，比方說開發代碼，因爲它是叠代的，所以累積的錯誤量會減少，因爲你不斷地得到來自用戶的反饋和修正。
當開發人員可以查詢人工智能聊天機器人來幫助他們編寫代碼并對其進行故障排除時，它會以兩種顯著的方式改變開發的方式：1）它使更多的人更容易在開發中進行協作，因爲它是通過自然語言界面進行的，2）人類開發者生産更多産品并保持更長時間的流動狀态。
Mira Murati,OpenAI ：
編程變得越來越不抽象。我們實際上可以用自然語言與高帶寬的計算機交談。我們正在使用該技術，該技術正在幫助我們了解如何與其協作，而不是對其進行"編程"。
Kevin Scott,微軟 ：
GitHub 是我們正在嘗試構建的這種副駕駛模式的第一個例證，即：如何利用某人正在做的知識工作并使用人工智能來幫助他們在完成特定類型的認知工作時顯着提高生産力？根據我們對開發人員的觀察，最重要的是，人工智能可以幫助他們比其他方式更長時間地保持心流狀态。
當你編寫一大段代碼并思考時，不要遇到阻礙，"我不知道如何完成下一件事情。我得去查閱文檔。我得去問問另一位可能正忙着某事的工程師。"在你脫離心流狀态之前，能夠讓自己擺脫束縛是非常有價值的。對于那些正在考慮爲軟件開發以外的其他用途而構建的生成式人工智能工具的實用性的人來說，這種心流狀态的概念是一個值得考慮的有用的東西。
Dylan Field,Figma：
最好的設計師開始更多地考慮代碼，而最好的開發人員也開始更多地考慮設計。除了設計師和開發人員之外，例如，如果你考慮産品人員，他們以前可能一直在制定規範，但現在他們更多地研究模型，以更有效地傳達他們的想法。基本上，這将允許組織中的任何人更快地從想法到設計，甚至可能到生産。但你仍然需要磨練每一個步驟。
你需要有人認真思考，"好吧，我們要探索什麽想法？我們要如何探索它們呢？"你會想要調整設計，你會想要正确地處理它們，從初稿到最終産品。
5 AI 與生物學的結合可以加速治療疾病的新方法并對人類健康産生深遠影響
生物學極其複雜——甚至可能超出人類思維的完全理解能力。
然而，人工智能與生物學的交叉可以加速我們對生物學的理解，并帶來我們這個時代一些最令人興奮和最具變革性的技術進步。人工智能驅動的生物學平台有可能解鎖以前未知的生物學見解，從而帶來新的醫學突破、新的診斷方法以及更早發現和治療疾病的能力，甚至有可能在疾病發生之前阻止它。
Daphne Koller,insitro ：
在我們曆史上的某些時期，某些特定的科學學科在相對較短的時間内取得了令人難以置信的巨大進步。在 20 世紀 50 年代，這個學科就是計算，我們使用這些機器來執行計算，直到那時，隻有人類能夠執行這些計算。然後在 20 世紀 90 年代，出現了這個有趣的分歧。一方面，數據科學和統計學最終爲我們帶來了現代機器學習和人工智能。另一方面是我所認爲的定量生物學，這是我們第一次開始以超過在耗時 5 年的實驗中跟蹤 3 個基因的規模來測量生物學。
現在，2020 年是最後兩個學科真正融合的時代，爲我們帶來了數字生物學時代，即以前所未有的保真度和規模測量生物學的能力；使用機器學習和數據科學工具解釋令人難以置信的海量數據、不同的生物尺度和不同的系統；然後使用 CRISPR 基因組編輯等工具将這種理解帶回到工程生物學中，這樣我們就可以讓生物學做它本來不想做的事情。
現在，我們終于可以在細胞水平（有時是亞細胞水平）和生物體水平上大規模測量生物學。這使我們第一次能夠在以下領域部署機器學習：真正有意義的方式。
我們建立了生物學語言模型。它就像 GPT，但針對的是細胞。我們有細胞的語言和細胞的樣子。你測量不同狀态下的數億個細胞，然後就像自然語言的大型語言模型一樣，用少量的數據，你可以開始問："好吧，疾病如何将緻病基因從一個地方移動？到另一個？治療如何讓你有希望地從疾病狀态回到健康狀态？"這是超級強大的。與其他語言模型一樣，您提供的數據越多，它就會變得越好。
6将模型交到用戶手中 将幫助我們發現新的應用場景
之前的人工智能模型叠代旨在在某些任務上超越人類，而基于 Transformer 的 LLMs 則擅長一般推理。
但僅僅因爲我們創建了一個良好的通用模型并不意味着我們已經破解了如何将其應用于特定用例。正如讓人類以 RLHF 形式參與循環一樣，對于提高當今人工智能模型的性能至關重要，将新技術交到用戶手中并了解他們如何使用它，将是确定要構建哪些應用程序的關鍵這些基礎模型的頂部。
Kevin Scott,微軟 ：
我們必須記住：模型不是産品。作爲一個創業者，你的理解是：你的用戶是誰？他們的問題是什麽？你能做些什麽來幫助他們？然後确定人工智能是否确實是解決用戶問題的有用基礎設施——這是不變的。人工智能就像一個新的、有趣的基礎設施，可以讓你以更好的方式解決新類别的問題或解決舊類别的問題。
Mira Murati,OpenAI :
我們并不确切地知道未來會是什麽樣子，因此我們正在努力向許多其他人提供這些工具和技術，以便他們可以進行實驗，我們可以看看會發生什麽。這是我們從一開始就一直在使用的策略。在我們推出 ChatGPT 的前一周，我們擔心它不夠好。我們都看到了發生的事情：我們把它放在那裏，然後人們告訴我們它足以發現新的用例，你會看到所有這些新興的用例。
7你的 AI 朋友的記憶力将會變得更好
雖然數據、計算和模型參數爲 LLMs 的一般推理提供動力，但上下文窗口爲他們的短期記憶提供動力。
上下文窗口通常通過它們可以處理的令牌數量來衡量。如今，大多數上下文窗口約爲 32K，但更大的上下文窗口即将到來，随之而來的是通過 LLMs 運行具有更多上下文的更大文檔的能力。
Noam Shazeer,Character.AI :
目前，我們提供的模型使用數千個令牌的上下文窗口，這意味着你的終生朋友會記住過去半小時發生的事情。如果你可以轉儲大量信息，事情将會變得更好。它應該能夠了解關于你的十億件事。HBM 帶寬就在那裏。
Dario Amodei,Anthropic ：
我認爲仍然被低估的一件事是更長的背景和随之而來的事情。我認爲人們腦海中會想到這樣的畫面，"有這個聊天機器人。我問它一個問題，它回答了這個問題。但是你可以上傳一份法律合同并說，"這個法律合同中最不尋常的 5 個條款是什麽？或者上傳一份财務報表并說："總結這家公司的位置。與這位分析師兩周前所說的話相比，有什麽令人驚訝的？所有這些知識操縱和處理大量數據，人們需要數小時才能閱讀。我認爲這比人們正在做的事情更有可能。我們才剛剛開始。
8語音聊天機器人、機器人和其他與人工智能互動的方式是一個重要的研究領域
今天，大多數人以聊天機器人的形式與人工智能互動，但這是因爲聊天機器人通常很容易構建，而不是因爲它們是每個用例的最佳界面。
許多構建者專注于開發用戶通過多模态 AI 與 AI 模型交互的新方法。用戶将能夠以與世界其他地方交互的方式與多模态模型進行交互：通過圖像、文本、語音和其他媒體。更進一步：具身人工智能（embodied AI）專注于可以與物理世界互動的人工智能，比如自動駕駛汽車。
Mira Murati,OpenAI:
我認爲今天的基礎模型在文本中對世界有很好的表現。我們正在添加其他模式，如圖像和視頻，因此這些模型可以更全面地了解世界，類似于我們理解和觀察世界的方式。
Noam Shazeer,Character.AI :
也許你想聽到一個聲音，看到一個面孔，或者隻是能夠與多個人互動。就像你被選爲總統一樣，你得到了耳機，還有整個朋友或顧問團隊。或者就像你走進"歡樂酒吧"，每個人都知道你的名字，他們很高興你來了。
Daphne Koller,insitro:
人工智能可能産生的下一個影響前沿是人工智能開始接觸物理世界的時候。我們都看到了這有多難。我們都見過，與制造聊天機器人相比，制造自動駕駛汽車是多麽困難，對吧？我們在構建聊天機器人方面取得了很大進展，自動駕駛汽車仍在舊金山阻擋消防車。了解這種複雜性，但也要了解影響的規模，這一點很重要
9我們會有一些通用模型，一堆專用模型，還是兩者兼而有之？
哪些用例最适合更大的"更高智商"的基礎模型或較小的專用模型和數據集？就像十年前的雲和邊緣架構辯論一樣，答案取決于你願意支付多少費用、你需要輸出的準确性以及你可以容忍的延遲程度。随着時間的推移，這些問題的答案可能會發生變化，因爲研究人員開發了計算效率更高的方法來微調特定用例的大型基礎模型。
從長遠來看，我們可能會在哪些模型用于哪個用例的問題上過度輪換，因爲我們仍處于構建基礎設施和架構的早期階段，以支持即将到來的人工智能應用程序浪潮。
Ali Ghodsi,Databricks:
現在有點像2000年，互聯網即将主宰一切，最重要的是誰能建造出最好的路由器。Cisco在2000年曾經市值達到5萬億美元的峰值，當時超過了微軟。所以，誰擁有最大的LLM（語言模型）呢？顯然，能夠構建最大并對其進行充分訓練的人将擁有所有AI和未來人類的掌控權。但就像互聯網一樣，後來會有其他人想到像Uber和出租車駕駛這樣的創意。
還會有其他人想着，"嘿，我想看看我的Facebook上朋友們都在幹什麽。" 這些都可能成爲巨大的商業機會，并不隻是OpenAI、Databricks或Anthropic等公司構建一個模型就能主導所有應用場景。需要投入很多努力才能打造一個你信任的醫生。
Dario Amodei,Anthropic:
最大的因素就是投入更多資金。現在制造的最昂貴模型的成本約爲1億美元左右，加減一個數量級。明年我們可能會看到來自多個參與者的價值約10億美元左右的模型，而到2025年，我們将看到數十億甚至100億美元規模的模型。這個100倍的差距再加上H100s計算速度本身變得更快——由于降低精度而帶來了特别大的飛躍。把所有這些因素放在一起，如果擴展定律繼續适用，能力将會有巨大提升。
Mira Murati, OpenAI:
這取決于你想做什麽。顯然，AI系統将會越來越多地承擔我們所做的工作。就 OpenAI 平台而言，你可以看到即使在今天，我們通過 API 提供了許多模型，從非常小的模型到前沿模型都有。人們并不總是需要使用最強大或最能勝任的模型。有時候他們隻需要适合其特定用例的模型，并且更加經濟實惠。我們希望人們在我們的模型基礎上進行構建，并爲他們提供簡化此過程的工具。我們希望給予他們越來越多的訪問和控制權限，以便您可以攜帶自己的數據并自定義這些模型。您真正需要關注超出模型範疇、定義産品層面上的事情。
David Baszucki, Roblox:
在像 Roblox 這樣的任何公司中，可能有 20 或 30 個最終最終用戶垂直應用程序是非常定制的 - 自然語言過濾與生成 3D 非常不同 - 在最終用戶那裏，我們希望所有這些應用程序都運行。當我們沿着[堆棧]向下走時，在像我們這樣的公司中，可能會自然地聚集 2 或 3 個更大，更胖類型的模型。我們對我們想要的學科進行了非常精細的調整，能夠爲這些學科訓練和運行大量推理。
10人工智能什麽時候在企業獲得足夠推廣那些數據集又會發生什麽？
生成式人工智能對企業的影響仍處于起步階段——部分原因是企業通常行動較慢，部分原因是他們已經意識到其專有數據集的價值，并且不一定想将數據移交給另一家公司，無論他們的模型多麽強大。
大多數企業用例需要高度的準确性，企業有 3 種選擇來選擇 LLM：構建自己的 LLM，使用 LLM 服務提供商爲他們構建，或微調基礎模型 - 構建自己的 LLM 并不容易。
Ali Ghosdi, Databricks：
在 CEO 和董事會的大腦中發生的一件事是，他們意識到：也許我可以擊敗我的競争對手。也許這是殺死敵人的氪金石。我有生成式人工智能的數據，所以他們在思考，"我必須自己建立它。"我必須擁有知識産權。你想要從零開始建立自己的 LLM 嗎？這并不是一件輕松的事情，仍然需要大量的 GPU，需要花費很多錢，并且取決于你的數據集和使用案例。
我們有很多客戶希望擁有更便宜、更小、精度和性能非常高的專用模型。他們說，"嘿，這就是我想做的。我想從這些圖片中很好地對制造過程中的這種特殊缺陷進行分類。在那裏，準确性很重要。你能給我的每一盎司準确性都很重要。在那裏，如果你有一個好的數據集來訓練，并且可以訓練一個更小的模型，你會更好。延遲會更快，更便宜，是的，你絕對可以擁有擊敗真正大型模型的準确性。但是你建立的模型也不能在周末娛樂你，幫助你的孩子做作業。
11Scaling 法則會把我們一直帶到 AGI 嗎？
LLM 目前遵循 Scaling 法則：即使你添加更多數據和計算，模型性能也會提高，即使架構和算法保持不變也是如此。但是，這個法則能持續多久？它會無限期地持續下去，還是在我們開發 AGI 之前達到自然極限？
Mira Murati, OpenAI:
沒有任何證據表明，當我們繼續在數據和計算的訪問中擴展它們時，我們不會獲得更好、更強大的模型。這是否将 你一直帶到 AGI - 這是一個不同的問題。在此過程中可能需要其他一些突破和進步，但我認爲在 Scaling 定律方面還有很長的路要走，并且要真正從這些更大的模型中獲得很多好處。
Dario Amodei, Anthropic：
即使這裏沒有算法改進，并且我們隻是擴大了迄今爲止的規模，Scaling 法則也将繼續下去。
Noam Shazeer, Character.AI：
我們的目标是成爲一家 AGI 公司和産品優先的公司，而實現這一目标的方法是選擇正确的産品，迫使我們從事通用化的事情，使模型更智能，使其成爲人們想要的東西，并大規模廉價地提供服務。Scaling 法則将帶我們走很長的路。從本質上講，計算并不那麽昂貴。如今，運營成本約爲10-18美元。如果你能有效地做這些事情，那麽成本應該遠遠低于你的時間價值。那裏有能力将這些東西擴大幾個數量級。
12什麽是新興能力（emergent capabilities）？
雖然有些人很快就注銷了生成人工智能的能力，但人工智能在執行某些任務方面已經比人類好得多，并且将繼續改進。最好的構建者已經能夠識别人工智能最有前途的新興功能，并建立模型和公司，将這些功能擴展到可靠的功能。
他們認識到，規模往往會提高新興能力的可靠性。
Mira Murati, OpenAI：
關注這些新興功能很重要，即使它們非常不可靠。特别是對于今天正在創建公司的人來說，你真的想要思考，"好吧，今天有什麽可能嗎？今天你看到了什麽？"因爲很快這些模型就會變得可靠。
Dario Amodei, Anthropic:
當我們發布GPT-2時，當時被認爲最令人印象深刻的是，"你将這5個英文到法文翻譯的例子直接輸入到語言模型中，然後再輸入第六句英文句子，它實際上會翻譯成法文。就像哦，天啊，它竟然理解了這種模式。"對我們來說那真是太瘋狂了，盡管翻譯得很差勁。但我們的觀點是，"看吧，這隻是一段驚人之旅的開始，因爲沒有限制，并且可以繼續擴大規模。"以前我們見過的那些模式爲什麽不能繼續存在呢？預測下一個單詞的目标如此豐富，并且有很多你可以挑戰它們的東西，所以它肯定能行。然後有些人看着它說："你做了一個非常糟糕的機器人翻譯工具。
13服務這些模型的成本會下降嗎？
計算成本是擴展這些模型的主要限制之一，而當前的芯片短缺通過限制供應而推高了成本。然而，如果 Nvidia 明年生産更多的 H100，這應該會緩解 GPU 短缺問題，并可能降低計算成本。
我們現在提供的模型去年花費了大約 200 萬美元的計算周期來訓練，我們現在可能會重複五十萬美元。因此，我們将在今年年底之前推出幾十個智商點更智能的東西。我看到這些東西正在大規模擴大規模。隻是沒那麽貴。我想我昨天看到一篇文章，說英偉達明年将再制造1.5M H100，也就是是 2M H100。
這大約是每人每秒四分之一萬億次操作。這意味着對于地球上每個人，在一個擁有 1000 億參數的模型上，它可能會每秒處理 1 個單詞。但實際上并不是每個人都能使用它，因此它并不那麽昂貴。如果你做得對，這個東西的可擴展性非常大，我們正在努力實現這一點。
我的基本觀點是，推理不會變得那麽昂貴。Scaling 定律的基本邏輯是，如果将計算增加 n 個因子，則需要将數據增加 n 的平方根因子，将模型的大小增加 n 的平方根因子。這個平方根基本上意味着模型本身不會變大，而且在你這樣做的時候硬件會變得更快。我認爲這些東西将在未來 3 或 4 年内繼續發揮作用。如果沒有架構創新，它們會變得更貴一點。如果有架構創新，我希望有，他們會變得更便宜。
但是，即使計算成本保持不變，模型級别的效率提升似乎也是不可避免的，尤其是在如此多的人才湧入該領域的情況下，人工智能本身可能是我們改進人工智能工作方式的最強大工具。Dario Amodei, Anthropic：
随着人工智能變得更加強大，它在大多數認知任務上表現得更好。其中一個相關的認知任務是判斷人工智能系統的安全性，并最終進行安全研究。這其中有一種自我參照的組成部分。我們可以通過解讀神經網絡内部來看到這一點，比如可解釋性領域。強大的人工智能系統可以幫助我們解讀較弱的人工智能系統中的神經元活動。而這些可解釋性洞察力通常會告訴我們模型是如何運作的。當它們告訴我們模型是如何運作時，往往會提出改進或提高效率的方法。
最有前途的研究領域之一是針對特定用例微調大模型，而無需運行整個模型。
Ali Ghodsi, Databricks:
如果你制作了一千個在一千種不同事物上都擅長的LLM版本，并且你必須将每一個加載到GPU并提供服務，那将變得非常昂貴。現在大家都在尋找的最大目标是：是否有技術可以隻進行小幅修改就能獲得非常好的結果？有很多技術，比如前綴調優、LoRA、CUBE LoRA等等。但還沒有一個真正完美無缺的解決方案被證實有效。但總會有人找到的。
14我們如何衡量通用人工智能的進展？
當我們擴展這些模型時，我們如何知道人工智能何時成爲通用人工智能？當我們經常聽到 AGI 這個術語時，它可能是一個很難定義的東西，部分原因可能是它難以測量。
像 GLUE 和 SUPERGLUE 這樣的定量基準長期以來被用作衡量 AI 模型性能的标準化指标。但就像我們給人類進行的标準化測試一樣，AI 基準引發了一個問題：在多大程度上你正在衡量 LLM 的推理能力，以及在多大程度上你正在衡量它通過考試的能力？
Ali Ghodsi, Databricks：
我有點覺得所有的基準都是胡扯。想象一下，如果我們所有的大學都說："我們會在考試前一晚給你答案讓你看。然後第二天，我們會讓你來回答問題，然後評分。"突然間，每個人都能輕松通過考試了。
比方說，MMLU 是許多人用來評估這些模型的基準。MMLU 隻是一個在網絡上的多項選擇題。提出一個問題，答案是A、B、C、D或E？然後它會告訴你正确答案。它可以在網上進行訓練，并創建一個能夠擊敗它的 LLM 模型。
AGI 最初的定性測試是圖靈測試，但讓人類相信人工智能是人類并不是難題。讓人工智能去做人類在現實世界中所做的事情是一個難題。那麽，我們可以使用哪些測試來了解這些系統的功能呢？Dylan Field, Figma：
從這些系統中我們現在看到，讓人相信你是人類很容易，但實際上做出好的事情卻很難。我可以讓GPT-4制定一個商業計劃并來向你推銷，但這并不意味着你會投資。當你真正面對兩個競争的企業——其中一個由AI運營，另一個由人類運營——而你選擇投資AI企業時，那就令我擔憂了。
David Baszucki, Roblox:
我有一個圖靈測試問題要問 AI：如果我們将 AI 放在 1633 年，并讓其基于當時所有可用的信息進行訓練，它會預測地球還是太陽是太陽系的中心——即使 99.9% 的信息都說地球是太陽系的中心？我認爲5年時間正好處于邊緣位置，但如果我們在 10 年後進行這個 AI 圖靈測試，它可能會說太陽。
15還需要人類參與嗎？
新技術通常會取代一些人類工作和工作，但它們也開辟了全新的領域，提高了生産力，并使更多的人可以從事更多類型的工作。雖然很容易想象人工智能使現有工作自動化，但想象人工智能帶來的下一個問題和可能性要困難得多。
Martin Casado, a16z:
非常簡單地說，傑文斯悖論指出：如果需求是彈性的，并且價格下降，需求将會超過補償。通常情況下，遠遠超過補償。這絕對适用于互聯網。您可以獲得更多價值和更高生産力。我個人認爲，在任何創造性資産或工作自動化方面，需求都是彈性的。我們制造得越多，人們消費得就越多。我們非常期待生産力的大規模擴展、大量新崗位以及許多新事物的出現，就像我們在微芯片和互聯網時代所見到的一樣。
Kevin Scott, Microsoft:
我在弗吉尼亞州中部的農村長大，那裏的經濟主要靠煙草種植、家具制造和紡織業提供動力。當我高中畢業時，這三個行業都剛剛崩潰。當這些社區的人們能夠使用非常強大的工具時，他們往往會做出非凡的事情，爲自己、家人和社區創造經濟機會。他們解決了你或我無法解決的問題，因爲我們沒有看到世界的整個問題格局。我們沒有他們的觀點。這些人工智能工具現在變得比以前更加容易使用。您現在就可以使用這些工具做有趣的事情，并且可以在弗吉尼亞州小鎮成爲一名企業家，而無需擁有計算機科學博士學位或經典人工智能專業知識。你隻需要保持好奇心和創業精神。
Dylan Field, Figma:
如果你看過迄今爲止的每一次技術轉變或平台轉變，都會導緻更多需要設計的東西。有印刷機，然後你必須弄清楚在頁面上放什麽。最近是移動互聯網，你可能會認爲，"好吧，像素少了，設計師也就少了。"但事實并非如此，那時我們看到了設計師數量最大的爆炸增長。
16現在是創建人工智能初創公司的最激動人心的時刻（特别是如果你是物理學家或數學家）
這是人工智能構建的一個獨特而激動人心的時刻：基礎模型正在迅速擴展，經濟最終向有利于初創公司的方向傾斜，并且有很多問題需要解決。這些問題需要極大的耐心和毅力才能解決，迄今爲止，物理學家和數學家特别适合解決這些問題。但作爲一個發展迅速的年輕領域，人工智能是完全開放的——現在是構建人工智能的最佳時機。
在任何特定時刻，有兩種類型的領域。一種是經驗和積累知識非常豐富的領域，需要多年時間才能成爲專家。生物學就是一個典型例子——如果你隻從事生物學6個月，很難做出突破性或者諾貝爾獎級别的工作……另一種是非常年輕或者發展速度非常快的領域。人工智能曾經，并且現在某種程度上仍然如此，屬于這類領域。真正有才華的通才往往可以超越那些在該領域已經待了很長時間的人，因爲事情變化得太快了。如果說有什麽不同之處的話，擁有大量先前知識可能會成爲一個劣勢。
從數學的理論空間中可以得出一個要點，那就是你需要花很長時間來思考問題。有時候你入睡然後醒來時會有新的想法，在幾天或幾周的時間裏逐漸找到最終解決方案。這不是一種快速獲得回報的過程，有時它也不是一個叠代式的事情。這幾乎是一種不同的思考方式，在其中你建立直覺和紀律去面對問題，并相信自己能夠解決它。随着時間推移，你會對哪個問題才是真正值得努力解決的問題建立起直覺。
Daphne Koller, insitro:
随着時間的推移，不僅是機器學習在進步，我們所依賴的生物工具也在進步。過去并沒有CRISPR技術，隻有siRNA。然後出現了CRISPR基因編輯技術，現在又有了可以替換整個基因組區域的CRISPR prime技術。因此，我們所建立的工具也越來越好，這爲我們以更有意義的方式解決更多疾病提供了可能性。人工智能/機器學習與生物學和醫藥領域交彙處存在許多機會。這種融合是一個時刻讓我們能夠利用今天已經存在但五年前還不存在的工具，在我們所生活的世界中産生巨大影響力的時刻。
Kevin Scott, Microsoft：
如果你考慮過去發生的一些大型平台轉變，那麽在這些平台上最有價值的事情并不是在平台改變的頭兩年中部署的東西。如果你想想自己在智能手機上花費時間最多的地方，它不是短信應用程序，也不是網頁浏覽器，也不是郵件客戶端。而是在平台可用性之後幾年内創造出來的新東西。有哪些以前不可能的事情現在變得可能了？這才是人們應該思考的問題。不要去追逐那些瑣碎的事情。
本文作者： StartupBoy，來源：投資實習所，原文标題：《a16z萬字長文：我們正在進入計算的第三個時代》
