第三期華夏基石數智時代領導力特訓營熱招中！
來源 | 智能超參數，管理智慧
咨詢合作 | 13699120588
文章僅代表作者本人觀點
北京時間 11 月 3 日，商業播客和媒體 Masters of Scale 在 Youtube 上放出了創始主持人 Reid Hoffman（LinkedIn 聯合創始人和 Greylock 合夥人）與微軟 AI CEO Mustafa Suleyman 在 2024 Masters of Scale 峰會上的對話視頻。
在訪談中，兩人談及了人工智能技術中情商的重要性、人工智能模型的演變，以及模型小型化爲創業者帶來的機會等話題。
針對模型的發展趨勢，微軟 AI CEO Mustafa Suleyman 認爲，未來模型變大和變小将會同時存在，大型、非常智能且推理成本高昂的模型會教小模型，然後小模型可以從 AI 反饋中進行強化學習。
Mustafa Suleyman 表示，" 規模仍然将繼續在這個領域占據一席之地。我們有足夠的數據，至少在未來兩到三年内，規模化模型将繼續帶來出色的性能表現。"
他還對創業者們表示，現在已經到了全心投入 AI，進行轉型的時刻。" 這是一個創立公司、拓展公司規模的時機，也适合轉變職業軌迹，即便你不是創業者，甚至作爲活動家、組織者或學者都應該密切關注。"
以下是對話全文，智能超參數編譯，enjoy：
人工智能的比喻與 " 數字物種 "
Reid Hoffman：你和其他人有時會将人工智能比作一個 " 物種 "。那麽，作爲思考人工智能的視角，這樣的比喻如何？在哪些方面是個好的視角？在哪些方面可能會誤導？這種視角應該如何指導我們對未來的思考？
Mustafa Suleyman：當我們遇到一些本質上全新的東西，它與我們以前見過的任何事物都不同，每一波新的技術浪潮都會讓人有這樣的感覺。想想看，第一次使用電力會有多麽不可思議和瘋狂。或者通過電話線與大西洋對岸的人通話，那會是多麽震撼。
它會讓你對可能性的世界觀增加一個全新的心智表征。所以，每次發生這種情況，我們都在努力尋找正确的比喻，将其與我們已知的事物聯系起來。雖然它最終不會像我們已知的事物，但在它到來之前，這是我們最好的嘗試。
我提出這種 " 數字物種 " 的比喻，因爲當你退一步看這些事物的能力時，這确實是最接近的相似之處，盡管這帶來了許多我們不希望它具備的特性。
我認爲這也以正确的方式框定了 " 約束 " 的問題。這些模型将能夠看你所見、聽你所聽、實時理解和互動文本，并代表你采取行動。這些能力正逐漸流行起來。
我認爲，物種的比喻是我們最相似的替代選擇，這也爲我們思考我們不希望它成爲什麽提供了一個有益的框架。
人工智能的 " 幻覺 " 和 " 創造力 "
Reid Hoffman：那麽，我們應該做的最重要的一件事是什麽？以及最不應該做的一件事是什麽，以此來引導數字物種的發展？順便提一下，我推薦 Mustafa 的書《即将到來的浪潮》，書中也深入探讨了這個問題。這是 60 秒的簡述版本。
Mustafa Suleyman：我認爲這些模型的一個不可思議之處在于，它們對于你的輸入不會給出精确的答案。我的意思是，這有點像是軟件的宏偉目标。我們希望它能告訴我一些我不知道的事情。
所以，所謂的 " 幻覺 " 這個詞其實有點不恰當。我認爲這并不是缺點，而是優點。
Reid Hoffman：叫它 " 創造力 " 吧。
Mustafa Suleyman：是的，創造力。我們希望在某些輸入下能夠得到各種可能的回應。而這種可塑性和模糊性正是我們所需要的。因此，讓它們自己學習事物的表示，而不是我們手工設計這些特征，這正是過去 15 年機器學習的核心動機，現在它終于能做到這一點了。
但我們需要弄清楚的是這種學習的邊界在哪裏。
目前，幾乎沒有遞歸的自我改進，或者說，幾乎沒有一個閉環的自我改進是不需要人類直接監督的。但我們可以預見到 2025 年左右，團隊會開始試驗這個領域。所以我認爲這值得關注，應該謹慎對待。
另一件事是完全的自主性。如果這些模型能夠在各種數字環境中獨立互動，生成自己的虛拟機，操作網頁，與 API 互動等，風險顯然會增加。因此，這兩項能力是我們非常關注的。
Reid Hoffman：另一方面，積極的方面呢？
Mustafa Suleyman：我認爲積極的方面是，它們會有極大的創造力。我認爲它們會幫助我們與自己最好的一面互動。如果設計得當，這些模型不會刻薄、苛刻、羞辱他人——大多數人類會表現得很糟糕，但這些模型沒必要如此。
有些人會編程，讓一些 AI 夥伴具有這些負面特征，但這不是必然的結果，這是某些設計者的選擇。我認爲在根本上，我們應該盡一切可能限制這類東西出現在生态系統中，在标準和價值觀方面要有所約束。
但有些人會這樣做。不過我認爲，這些模型有很多空間可以真正幫助我們展現最好的自己。
我三周前讀到一篇論文，報告說一些持有陰謀論的人，在與聊天機器人交談了一段時間後（大概是六周左右），他們相信這些陰謀論的傾向減少了。這是因爲聊天機器人是有耐心的，它沒有評判，不會貶低你，總是回來并通常基于科學文獻，以證據爲基礎地交流。
因此，有很多有前途的迹象表明，積極的一面将會是令人難以置信的。
情商與智商的平衡
Reid Hoffman：事實上，我要提前問你一個我原本稍後要問的問題，我覺得這是個很好的時機。當你、Karen 和我開始 Inflection 時，一個基本原則是情商與智商同等重要。請談談這對微軟 Phi 模型意味着什麽，以及這種想法在整個行業中的重要性，不僅僅是對 Phi 而言。
Mustafa Suleyman：我認爲可以将智商視爲答案的準确性、速度、全面性、相關性，及其對實時信息的訪問程度。所有這些方面都在穩步進步。
而我注意到的是，人們通常忽略了信息的傳遞方式的重要性。工程師通常認爲，隻要我陳述事實，人們自然會理解這是對的。然而事實證明，語氣、風格、模型的情商、它們問你問題的方式，能反映出你可能使用的語言類型等，這些傳遞内容的方式對大多數消費者而言比客觀地複述維基百科更重要。
所以我認爲，這将成爲關鍵能力之一。我認爲每個人現在都在努力應對這一點，因爲這個未來不僅僅關乎行動。人們可以清楚地看到，這也關乎個性。我非常感興趣的是如何設計個性，因爲這才是人們真正重視的部分。
Agent 的未來與角色
Reid Hoffman：談到未來的 Agent，讓我們來看一下它的願景。在 Copilot 的角度上，你如何看待未來兩到五年 Agent 将如何在我們的生活中扮演角色？從物種的層面到具體的應用，哪些方面對這些 Agent 是重要的？
Mustafa Suleyman：Agent 未來的第一步是你的 Copilot（副駕駛）——你的 AI 夥伴——必須能看到你所看到的東西。擁有一個能真正看到你屏幕上的像素、浏覽器、桌面和手機上的内容的助手或伴侶，意味着它可以實時了解你的感官輸入，這樣你的 AI 夥伴就能觀察到你所看到的東西。
然後你可以使用模糊的引用，例如 " 記得我看到的那個東西嗎？" 或 " 那些東西在哪兒？" 這是一種我們從未有過的理解水平。這使得你的 AI 可以代表你采取行動。
這意味着在浏覽器中導航，使用 API，預訂、購買和計劃等。我認爲目前有很多很酷的演示展示了這些功能。我覺得我們離能投入生産還差一段路。
回顧過去的幾波發展，你可以看到類似的趨勢。就像，在 GPT-3 出現之前，有一些模型，大型公司内部的 LLMs（大型語言模型）等等，那可能是在 2020 年，2021 年，它們真的很不穩定。
我認爲，這可能就是我們在 AQ（行動商數）方面所處的位置，讓事情有 50%，60% 的時間能夠正常工作已經很不錯了。我們必須将它們提高到 99% 的準确率。
你可以在語音識别和聽寫技術中看到這一點。那已經是一個有 15 或 20 年的發展曆史的領域了。隻是在最近兩三四年間才達到 99.5% 左右的準确率，并且已經實現個性化。
所以我們可能還需要幾年才能實現這個目标。
Reid Hoffman：那麽你認爲語音輸入的交叉點是什麽？因爲我完全同意。我實際上認爲生成式 AI 的革命使得這種對話成爲可能，從而大大提升了語音輸入的效果，因爲你不需要打字，可以直接對它講話，然後它能夠真正理解你在說什麽。這種提升如何将 Agents 的潛力更好地發揮出來呢？
Mustafa Suleyman：界面，界面的形狀，非常抽象地說，決定了你能輸入什麽。因此，搜索引擎中的搜索框隻是一個信箱式的輸入框，我們學會了使用搜索的語言。
由于搜索引擎的搜索框僅是一個字母框，我們學會了 " 搜索語言 "，把我們的想法壓縮成一個三、四或五個詞的短語，甚至不是一個完整的句子。
Reid Hoffman：平均長度大概是 1.6 個詞，隻是給你一個參考。
Mustafa Suleyman：确實是這樣，也許是 1.6 個詞。而關于語音體驗的有趣之處在于，它似乎在與你的計算機互動時解鎖了你大腦的新部分。因爲你可以用完整的句子說話，可以自我更正，還可以來回切換，還可以加入我們随口講出來的那些 " 雜話 "。
模型也會以段落的形式回複你，這讓你突然覺得，可以提出并讨論那些你原本不會去數字化的事情。
我認爲這是一個很好的框架，它向我們展示了未來可能在行動方面發生的事情。因爲你有了一個永遠在身邊的 AI 夥伴，它可以做任何你在數字世界中可以做的事情，你會讓它去做那些你自己不會去做的事情，因爲它太麻煩了。
這确實是一個大的轉變，因爲完成任務的進入門檻即将降低到幾乎不存在。由于邊際成本爲零，摩擦也顯著減少。因此，你會想到自己原本沒想到去做的事，因爲它變得如此方便。
Reid Hoffman：你認爲這些工具如何幫助我們變得更具創造力？這種與 Agent 的互動會帶來怎樣的靈感和啓發呢？
Mustafa Suleyman：想一想你一天中會冒出的各種随機想法、事情或者疑問。如果你認真冥想一下你的潛意識，想想那些瞬間—— " 我在想什麽 "" 我猜想 " ——它們幾乎是 " 次語言 " 層面的想法。
這些通常不會被表達出來，因爲你沒有一個随時随地傾聽你瘋狂想法的人，除了你自己。而你也不會總是有動力去輸入這些内容。實際上，拿出手機來輸入也是一個很高的門檻。
我會在一天裏進行多次搜索，但這還是有點麻煩。因此，如果進入門檻更低，那麽你所能産生的創造性想法範圍就會擴大，而這些想法可以在你的 AI 夥伴的幫助下得到具體體現。
然後，因爲它們能夠記住——這是另一個即将在行動之前到來的重要事情——那就是記憶。我們将搞定記憶問題。我非常相信，在 2025 年，永久記憶的問題将得到解決。
如果你想想看，我們已經在網絡上有了記憶。我們現在可以相當準确地從網絡上檢索信息。Copilot 的引用工作做得非常好。它能更新到 15 分鍾前的信息，知道網絡上新聞裏發生了什麽，等等。
所以我們隻是在将這個過程壓縮，以便爲你的個人知識圖譜提供服務。你可以添加自己的文檔、電子郵件等個人信息。記憶功能将徹底改變這些體驗，因爲有意義的對話或對某些創造性想法的探索往往會持續幾次對話，而不希望每次都從頭開始。現在，我們的 AI 會記住先前的對話内容。
這不僅會降低表達創造性想法的門檻，而且這些想法不會被遺忘。這樣你可以模糊地引用你之前說過的東西，例如 " 我三周前提到的那個事物是什麽？" 或 " 這與我們讨論的另一個事物如何相關？"
這就好比擁有了 " 第二個大腦 "，它就像是你思維的延伸。這就是爲什麽情商的作用至關重要。
小模型的機會與挑戰
Reid Hoffman：那麽讓我們來讨論一下模型的技術細節。因爲這裏有許多企業家，大家都在思考這個領域在未來幾年如何演變，以及需要關注的重點。
Mustafa Suleyman：好消息是模型正在同時變得更大和更小，這種趨勢幾乎肯定會繼續下去。
近年來，一種新的方法開始流行，稱爲 " 蒸餾 "。大型、非常智能且推理成本高昂的模型會教小模型，然後小模型可以從 AI 反饋中進行強化學習，并且這種監督似乎非常有效。
但規模仍然将繼續在這個領域占據一席之地。我們有足夠的數據，我認爲至少在未來兩到三年内，規模化模型将繼續帶來出色的性能表現。同時，我們還在加入新的模态，例如視頻、圖像等。
但我們真正關注的難點在于跨複雜數字服務的動作軌迹。例如，從浏覽器跳轉到桌面，再切換到手機，從不同的生态系統間轉換，無論是在封閉環境中還是在開放網絡中。
我們試圖理解這些軌迹，收集大量這類數據，使用超文件和微調等技術進行優化。我認爲這将帶來許多令人印象深刻的成果。
Reid Hoffman：關于數據的讨論非常豐富，涉及許多角度，比如哪些數據可以運行，以及數據的質量。在網絡上有大量關于數據集的讨論，但人們往往沒有花足夠的時間思考新數據的來源。
例如，我認爲合成數據是一個有趣的領域。假如我們有這樣的數據，我們可以訓練出更好的小模型和大模型。那麽企業家應該如何思考這些數據的獲取方式以及它們的整合方法？
Mustafa Suleyman：我意思是，想想一個 " 提示 "（Prompt）。不僅僅是一個問題，而是一組高質量的指令，指導預訓練模型以特定方式行事。這種高質量的數據實際上是模型的 " 數據 "。
當你寫一個三頁的風格指南，并附上模仿的例子時，那就是一個提示。然後你接着可以對一個已經被提示的模型提問。考慮到這一點，提示可以看作是你的數據。它是你高質量的指令集，給你的預訓練模型提供了特定的行爲方向。
這真的很了不起，模型可以僅僅根據幾頁的指示，表現得與一個以完全不同方式被提示的模型截然不同。這本身就很瘋狂。
但如果你再退一步，從模型表現的角度來看，若要在細微差别、精确度和細緻入微上表現出色，并真正遵循你的品牌價值或你想要創造的獨特産品，你需要展示成千上萬的良好行爲示例，并将這些示例微調到模型中，這實際上是對某些高質量且準确的數據進行預訓練過程的延續。
好消息是，成千上萬的示例對于許多小衆領域或特定行業來說是非常容易獲得的。這就是一種優勢。我認爲在高質量微調預訓練模型方面，初創企業有很多機會。這樣，你會得到對你關心的行爲政策更加穩定的遵循。
Reid Hoffman：企業家們如何看待小模型的使用和部署？顯然，他們将利用微軟、OpenAI、谷歌等公司的前沿模型來幫助他們，因爲這些公司擁有數十億美金的模型。但是小模型的獨特性和機會又在哪裏？
Mustafa Suleyman：我認爲小模型将是未來發展的一部分。當你向一個非常大的前沿模型發出查詢時，它會激活數十億個并不相關的神經路徑。
盡管它能夠高效地進行搜索或引用大量節點，但并不總是有必要這麽做。如果你有一個緊湊的用例，那麽我們将知識壓縮到更小、更便宜的模型中，它甚至可以放在冰箱磁鐵上。
Reid Hoffman：我聽你之前提過這個比喻——冰箱磁鐵？
Mustafa Suleyman：對啊，我能想到的最小的數字化物品就是它了。也許它甚至不是數字化的。顯然冰箱磁鐵不會對量子計算了解很多，但它會知道它需要知道什麽，以便在早上歡迎你，給你天氣，談論冰箱裏可能有什麽，可能沒有什麽，提醒你日曆。
也許它隻需要幾千萬個參數。目前還沒有人深入探索這種可能性，但它完全可行，任何兩人團隊都可以進行探索。
Reid Hoffman：這也是爲什麽創業精神在這場會議中占有重要地位。我将繼續我們最後一個問題的稍長版本，那就是：在未來，人們應該思考的關鍵問題是什麽？
對于我來說，我想從我剛才說的内容中概括一下，那就是我們作爲技術人員需要思考哪些因素，以設計一個更人性化的未來？當人們想到更人性化時，常常會聯想到一些經典的概念，比如人類在過去幾千年中的演變。這當然是一個重要方面。
但展望未來同樣重要。因爲随着我們技術的演進，我們的人性也在演變。我們通過這些技術進步來提升人性，無論是通過我們的播客設備，還是其他任何工具，這些都是改變我們作爲人類的本質的一部分。
所以，别忘了，我們擁有情感和熱情。當然，我們有同情心。但是，這些情感是如何在我們與技術的互動中得以表達的呢？這就是我想提出的一個重要問題。在給你幾秒鍾思考的時間後，希望你能考慮這個問題。
Mustafa Suleyman：我會說：問問自己，你是否全心投入了？因爲現在真的是一個轉型的時刻。
有充足證據表明，過去五十年間的重大技術變革重塑了整個結構。這是一個創立公司、拓展公司規模的時機，也适合轉變職業軌迹，即便你不是創業者，甚至作爲活動家、組織者或學者都應該密切關注。
在過去的五十年裏，我們有足夠的證據表明大型技術轉型，所有事物的結構都得到了重塑。
我認爲這是一個創立公司、擴大公司規模的時刻。這是一個真正轉變職業的時刻，即使你不是企業家，即使你是一名活動家或組織者，如果你是一名學者，現在是真的需要關注的時候了，
因爲到了 2050 年，這列火車将早已開走，世界将變得截然不同。這是一個我們确實有機會集體塑造和影響事物的時候。沒有什麽是一成不變的。
未來真的掌握在我們手中，我們有機會塑造一個對人類最有利的未來。我認爲這是非常幸運的事情，能夠在這個時刻活着，充滿了力量，同時也肩負着巨大的責任。
Reid Hoffman：我完全同意。現在你就知道爲什麽我如此激動地以 Mustafa 來開啓今天的活動了。讓我們感謝他。
