第二期華夏基石數智時代領導力特訓營熱招中！
報名即送十月管理論壇名額一個！價值12800元！
作者| 瓜哥
來源 | 管理智慧
咨詢合作| 13699120588
摘編自彭劍鋒教授新著《赢在組織》，文章僅代表作者本人觀點，圖片來源于pixabay
★
内容導讀：Mustafa在這次演講中主要表達了以下幾個觀點：
AI 的發展速度及未來預測的困難： 雖然AI技術進步迅速，且能預測未來幾年的技術能力發展，但預測未來3-5年AI對現有生态系統、激勵機制和商業模式的影響卻非常困難。這與互聯網早期類似，難以預料移動互聯網的最終形态。
AI 作爲一種新的"設計材料"： AI不再是傳統意義上的工具，而是一種新的設計材料或媒介，具有動态交互的特性，其與用戶的互動會持續塑造其自身。構建AI産品不再是編寫确定性指令，而是塑造其"基調、風格和個性"。
AI 的三個關鍵能力提升： Mustafa 預測未來幾年AI會在三個方面取得顯著進步：智商（IQ，更準确、更易控制）、情商（EQ，更流暢自然的交互）、行動商（AQ，更好地使用工具、與其他AI溝通）。記憶能力的提升也是關鍵。
AI 交互模式的轉變： 未來的AI交互将更趨向于人與人之間的自然交互模式，更加注重情感和信任感。這需要AI在準确性、流暢性和容錯性方面達到極高的水平。 語音交互的加入是重要一步，但仍需克服從高準确率到極高準确率的技術挑戰。
AI 原生應用的出現： 盡管ChatGPT令人印象深刻，但真正的AI原生應用才剛剛開始出現。未來的AI将不隻是一個應用，而是一種持續存在的、具有記憶能力的"伴侶式"關系，将整合多種交互方式（語音、視覺等）。
模型層 vs. 應用層： Mustafa認爲預訓練模型将趨于商品化，未來的價值創造主要在于微調模型以及構建用戶體驗。 成功的AI應用需要建立高效的反饋循環機制，并整合産品設計方面的專業知識。 他并不認爲單一模型會最終勝出，各種規模的模型（LLM, MLM, SLM）将共存，并根據不同用例進行選擇。
AI 對軟件開發的影響： AI将極大地提高軟件開發效率，例如GitHub Copilot已經展現出強大的能力。 但未來也需要關注AI自主性帶來的風險，以及潛在的"遞歸式自我提升"可能造成的挑戰。
AI 安全性與風險： Mustafa 認爲AI安全是一個極其重要的問題，需要認真對待其帶來的前所未有的風險。 他強調學習Web 2.0和社交媒體的經驗教訓，建立多層次的防護機制，并預見可能出現的意外後果。 他認爲"不做什麽"也可能成爲未來重要的安全策略。
對下一代AI創業者的建議： 勇于冒險，全力以赴，充分發揮主觀能動性。
穆斯塔法·蘇萊曼簡介
穆斯塔法·蘇萊曼是一位英國科技企業家和人工智能思想領袖，是人工智能公司Inflection AI的聯合創始人兼首席執行官。他更爲人所知的是其作爲DeepMind的聯合創始人兼首席産品官的角色，該公司于2014年被谷歌收購。
在DeepMind，蘇萊曼領導了人工智能在醫療保健、能源和基礎科學領域的應用。他主導了DeepMind Health的開發，該部門與英國國家醫療服務體系（NHS）合作，利用人工智能改善患者護理。
2019年離開DeepMind後，Suleyman繼續與人共同創立了初創公司Inflection AI。這家公司專注于人機交互。
在2024年3月19日，微軟首席執行官薩蒂亞·納德拉（Satya Nadella）宣布，Mustafa Suleyman加入微軟，組建一個名爲"Microsoft AI"的新團隊，專注于推進 Copilot 及公司其他消費者 AI 産品和研究。
蘇萊曼是一位直言不諱的人工智能倫理倡導者，他強調負責任地開發和部署人工智能的重要性。他與人合著了《超級智能：路線圖、危險性與應對策略》一書，探讨了超級智能的潛在風險和機遇。
作爲一位有遠見的領導者，蘇萊曼緻力于利用人工智能解決全球性挑戰，并塑造人工智能的未來，使其造福人類。
"地球上的每個人都将擁有一個個人AI助手"
主持人： 下午好。我們把最好的留到了最後。好的，我先這麽說。希望你們都進行了一系列良好的讨論。我們計劃了大約五個不同的讨論主題。希望你們都有機會參與其中。但今天時間很長，我完全意識到了這一點。但我們馬上會有一位非常棒的人來和我一起上台。Mustafa，我很榮幸也很高興歡迎你今天來到這裏。謝謝你來到這裏。對于那些不認識Mustafa的人來說，
他是我所說的典型的AI企業家。早在AI成爲當今的熱潮之前，Mustafa就開始緻力于AI。今天，他是微軟消費者AI的首席執行官，他也是DeepMind的聯合創始人兼前應用AI負責人，DeepMind是一家很久以前被谷歌收購的公司。離開DeepMind後，Mustafa于2022年共同創立了Inflection AI。今年早些時候，微軟和Inflection達成了一個非常有趣的合作關系，最終結果是Mustafa現在成爲微軟的關鍵領導者之一，幫助公司思考人工智能的未來，特别是消費者應該期待什麽以及他們可以從人工智能及其帶來的所有好處中獲得什麽。就在上個月，《時代》雜志公布了其100位最具影響力人物、100位人工智能最重要人物的名單，顯然，這份名單如果沒有Mustafa是不完整的。這隻是Mustafa在他職業生涯中獲得的衆多認可之一。所以，事不宜遲，Mustafa，再次感謝你，請和我一起上台。
謝謝。非常感謝。非常感謝。既然你今天是從紐約飛過來的，Mustafa，我想确保你了解今天發生的一些事情。告訴我。然後我會談談昨天的情況。
穆斯塔法·蘇萊曼： 你想從哪裏開始都可以，沒問題。
主持人： 一件是，你最親密的合作夥伴之一談到了一輪相當大的融資。另一個是Poolside AI，它也是下一代現代AI公司之一，籌集了大約5億美元。我們看看流入的資金量和大型科技公司正在進行的投資額，這讓我回到了24小時前，當時我聽說你昨天在紐約發表的一系列聲明。我非常喜歡你所說的，"地球上的每個人都将擁有一個個人AI助手"。那就從這方面開始，告訴我們你昨天向全世界宣布的内容。
穆斯塔法·蘇萊曼： 你知道，我認爲我們正處于一個奇怪的時代，盡管每個人都在關注，我們也都看到了同樣的技術趨勢，并且都在專注于投資、建設或以某種方式進行合作，但我認爲我們仍然無法完全預測未來三到五年世界将會是什麽樣子。而這實際上是很正常的。互聯網早期也發生了類似的事情。很難預測移動設備會以當時的形态出現，也很難預測商業模式會适應這種新的模式。我認爲現在也是如此，盡管我們對未來幾年将出現的技術能力有相當清晰的認識，但很難說這些能力的組合對現有生态系統、激勵機制以及我們将要建立的各種企業意味着什麽。
我的意思是，這就像認識到人類曆史上第一次，機器學會了說我們的語言一樣深刻。因此，編程接口已經從根本上發生了變化。每個人都将能夠訪問這個工具，他們可以使用這個工具來編程他們周圍的數字世界。顯然，這種編程反過來又改變了我們。因此，它不再僅僅是一個工具。它肯定不是傳統意義上的工具，那種手工制作、清晰明确、能夠以确定性方式提供已知輸出的工具。它具有動态和交互的特性，這是這種新事物固有的基本屬性。現在最好不要試圖将其框定，因爲它與我們所知的任何事物都完全不同。我們還沒有真正遇到新的設計材料，或者，我經常将其比作新的粘土，我們用它進行創作或作爲設計材料。這是一種新材料，對于産品制造商或建設者來說，現在有了這個新的東西需要你去制作，它與學習編程、構建網站和應用程序等方面的特性大相徑庭。它真的非常不同。你現在正在創造一種持續的體驗。
你的模型，你的LLM，無論在什麽環境中投入使用，都會不斷适應環境的反應，或者适應客戶或用戶的反應。所以你顯然無法在第二步或第三步之後塑造它。因此，你真正創造的是一種基調、風格和個性。我認爲這真的很不一樣，看到2028年或2030年的樣子将會非常令人驚歎。
主持人： 你知道，穆斯塔法，這讓我想到人們常說的一件事，那就是我們往往會高估一年内可能發生的事情，而完全低估十年内可能發生的事情，對吧？所以，當你談到2028年或2030年的時候，我實際上不知道我們是否真的充分設想了潛在的可能性。我想回到今年早些時候，我認爲是三月份，你做了一個TED演講。我不知道在座的各位有多少人看過這個TED演講。有些人看過。對于那些沒有看過的人，我鼓勵你們在本次會議結束後觀看，而不是在會議期間觀看。
但對我來說，這是一系列非常鼓舞人、我聽到并學習到的東西。你在演講中談到的一件事是，我們要這樣做，我們要那樣做，我們要那樣做，我們要那樣做。我認爲，我們真的處在一個拐點上。也許這就是你上一家公司名爲Inflection.ai的原因。但就人類而言，我們真的處在一個拐點上。你使用的另一個我非常喜歡的比喻是，一種新的數字物種正在出現。請你詳細介紹一下這個願景，然後我們可以将其與你昨天發布的公告聯系起來。
未來願景
穆斯塔法·蘇萊曼： 嗯，我的意思是，你一開始說的也完全正确，那就是我們在做預測方面确實很糟糕。然而，我整天都在嘗試做預測，然後押注在上面。而且，我認爲，在能力層面押注未來兩三年可能出現的技術能力實際上是完全可能的。然後，困難的任務是嘗試将這些能力轉化爲新産品、商業模式和生态系統。如果讓我押注能力，我會說，我們在智商（IQ）方面做得相當不錯。因此，模型越來越注重事實，它們顯著減少了幻覺。它們可以很好地檢索并根據任意文檔（無論是網絡還是你的私有語料庫）進行條件生成。
事實上，從回顧性來看，從經驗上看，很明顯，每增加一個數量級的計算量，它們就會變得更好，也更容易控制，對吧？這是一個巨大的成就。兩年前，有些人推測模型會變得更大，也會變得更混亂，更難以操控，更難以對齊。而結果似乎恰恰相反，至少目前是這樣。它們在指令遵循方面做得更好，更能遵循你産品設計、行爲策略、業務策略或你試圖優化的任何内容的細微差别。這就是智商方面的情況。
然後，幾年前人們說的第二件事是，哦，你知道，它們永遠不可能感同身受，它們永遠不會具備情商，這将永遠是某種特殊的魔法來源，遠離機器。然而，我認爲它們真的開始展現出非常優雅、非常流暢的互動，當然，在它們用文本給出的某些答案中是這樣，在語音方面也是如此。它們确實捕捉到了某些東西。是的，它們确實捕捉到了這些快速對話界面中非常無縫和自然的某些東西。這就是我們昨天發布的一些内容。
然後，當然，我們都在談論的第三件事是，它如何增加行動商數（AQ），也就是它能夠使用工具、與其他 AI 通信、在生成輸出之前進行推理的程度。我認爲，至少就我目前所見，所執行的操作的性質并沒有太大的區别。但與視頻、圖像、音頻或文本領域相比，行動領域從根本上來說是相同的難題。因此，隻要我們有足夠的數據，我認爲這是一個非常開放的問題，我們是模拟數據還是從現有語料庫中提取數據，它可能會産生相同類型的回報。在這三個方面，我認爲我們看到了相當可預測的改進。
然後，我認爲将所有這些結合在一起的缺失部分是數據。那就是數據。是的，數據就是數據，數據就是記憶。很多人都在努力研究這個問題，并且有很多不同的方法。但我确信，在接下來的大約 18 個月内，我們将擁有具有非常、非常好的記憶的 AI，即使不是無限和完美的，但也能很好地在任意文檔中進行檢索。這很有趣，因爲塑造了整個領域的對智力的定義是 AGI，即通用性。
這是我們所有人一直強調的某種北極星。但這是一種智力的定義。你知道，另一種定義，比如相同的核心系統能夠在各種各樣的環境中表現良好。這強調了一個系統必須是通用的。另一種對智力的定義是能夠在正确的時間關注正确的事物。它實際上更接近人類運作的方式。例如，我的身體和大腦會立即知道，如果我灑了這水，我就會灑了這水。我能做到，我會知道如果我灑了這水，我會把手縮回來。如果我有一些更複雜的任務需要用到我的前額葉皮層，我會動用大腦的不同部位。所以，我的大腦真正做的事情是，它有很多不同的子系統，它知道如何在給定的上下文和任務下選擇正确的系統。因此，如果我們能夠在正确的時間将處理能力導向正确的子系統，這可能是一種元啓用器，使我們能夠做到這一點。這使我們能夠跳過僅僅通過傳統的上下文窗口進行擴展所面臨的挑戰。所以我認爲這是未來幾年我對能力的預測，而且信心很高。然後你可以想象，如果我有很好的智商、情商、行動商數和記憶力，那将是一個非常非常強大的系統。
未來幾年交互模型的變化
主持人： 爲了補充這一點，Mustafa，你昨天談到了爲 Copilot 添加語音交互功能。我認爲這是你昨天談到的許多事情之一。我一直相信，至少在今天，你我使用的是一套技術進行交互，對吧？而當我與技術或機器交互時，大多數情況下是不同的，我認爲是這樣。但是，我們越能将人類彼此互動的方式作爲人類與技術或機器互動的方式，你的情商願景就能實現到某種程度。你如何看待未來幾年交互模型的變化？
穆斯塔法·蘇萊曼： 是的，我的意思是，這些事情的挑戰在于，人們可以證明，比如，你可以發布一個非常酷的演示，它70% 的時間都能工作。但是，爲了讓這些技術得到廣泛采用，它們必須在99% 的時間裏有效。所以延遲超低、非常準确、非常流暢、非常擅長打斷，知道何時暫停。我認爲人們經常忘記，從90% 到99%，然後從99.9% 是多麽困難，對吧？這實際上幾乎和從0% 到70% 一樣困難。
所以我認爲還有很長的路要走。但我們昨天展示的是更具情感直覺體驗的希望。昨天在紐約的發布會上，我沒有一次談到參數、模型或任何底層技術。因爲我認爲對大多數消費者來說，這真的無關緊要。重要的是感覺如何，它是否記得我？我是否信任它？因爲它一次又一次地做同樣的事情。它是否禮貌地打斷我？當它出錯時，它是否能優雅地失敗？你知道，這些感覺讓我們信任某件事，并想要更多地使用它，因此對其進行投資并分享更多等等。或者隻是讓我們懷疑，因爲它實際上有點粗魯，或者有點愚蠢等等。所以這就是我們必須破解的難題，才能真正實現大規模采用。我認爲我們昨天展示了希望，但是，你知道，我們必須……還有很長的路要走。
真正原生 AI 應用程序的可能性
主持人： 你知道，你幾分鍾前提到的另一件事是，嘿，你會看到越來越多的有趣應用出現。一些像微軟正在構建的，你們正在構建的，我認爲還有一些，生态系統的其餘部分将會構建。這讓我回想起你說的另一件事，比如，嘿，當移動革命發生時，這麽說吧。在我看來，你可以争論說手機存在，或者移動電話在 iPhone 1 出現之前就存在了，但 iPhone 1 是一種拐點，對吧？它确實，我認爲如果我沒記錯的話，是在 2007 年左右出現的。直到 2010 年或 2011 年，特别是 Uber 和 Airbnb 出現的時候，人們才真正感覺到，嘿，你能用移動設備、移動平台和各種應用程序做什麽，對吧？
正如你所知，ChatGPT 已經出現了大約 22 個月，自 ChatGPT 出現以來，對吧？我仍然相信，盡管 ChatGPT 令人驚歎，但我認爲世界還沒有看到真正原生 AI 應用程序的可能性。好嗎？你對此怎麽看？你認爲這已經過去了，還是認爲這還在未來？
穆斯塔法·蘇萊曼： 這絕對還在未來。我的意思是，你知道，我又一次覺得這甚至不應被認爲是一個應用程序。我認爲這從根本上來說是一種關系。我和我的團隊現在從事的是個性化工程。我們正在建立一種持久、有意義、值得信賴的關系。在我看來，這就是新的平台。因爲它不僅僅是關于語音和文本或語言。你知道，它真的會關乎視覺。你的伴侶将實時看到你在浏覽器和桌面上看到的一切。理解文本和所有圖像。并能夠像我現在和你談話一樣流暢地和你談論它。
因此，過早地試圖将其設計成一個應用程序和商業模式，幾乎會忽略它作爲一種始終存在、完全感知、具有永久記憶的伴侶是多麽重要。你知道，這種伴侶需要與你的興趣高度一緻。這将是一種非常私密的體驗。就像你曾經在晚上坐在沙發上與你的伴侶或最好的朋友一起搜索一樣。你們都在搜索，我不知道，計劃假期或查找你們将要觀看什麽，将要觀看什麽電影。你意識到他們正在看到你所看到的某種版本，但略有不同。你們都在實時讨論它。就像那種存在感，我甚至不知道該如何形容它。
你知道，我不會說這是一件壞事。但這對于隐喻來說是一種挑戰。我認爲這更多的是與你腦海中的一種想法建立持久的關系，而不是某種應用程序或平台。我認爲這就是我一直在推動我的創意團隊努力解決的問題，就像我們必須沉浸在這些能力中，然後再讓體驗和商業模式逐漸顯現出來一樣。
應該在多大程度上考慮模型
主持人： 太好了。你知道，今天，有很多關于大型語言模型的讨論，對吧？無論你從哪個維度考慮，在過去四五年裏，大型語言模型都出現了爆炸式增長，對吧？微軟正在構建許多自己的模型。微軟正在與 OpenAI 合作開發大型語言模型。特别是當你在與一群企業家交談時，他們正在考慮，嘿，他們如何将他們的想法付諸現實。
你認爲人們應該在多大程度上考慮或擔心控制模型層，而不是擔心這個問題，而是說，嘿，讓我向上移動堆棧，考慮一下體驗和我們所說的應用程序，但實際上并不是他們将要交付的服務或他們将要交付的能力。你認爲人們應該在多大程度上考慮模型，而不是向上移動堆棧？
穆斯塔法·蘇萊曼： 是的，我的意思是，我認爲預訓練模型很可能會商品化。我認爲所有的技巧都在微調上。我認爲很多人還沒有完全弄清楚微調的日常技巧。你知道，很多知識都是公開的。但我認爲這裏還有很多東西需要學習，因爲大多數情況下，不幸的是，這不僅僅是一個技術問題，它是一個運營問題。因此，挑戰在于如何建立你的反饋循環。你擁有值得信賴的、訓練有素的、可靠的人員，他們可以爲你的模型和建模團隊提供方向性輸入。我認爲大多數人，我認爲，有點過于迅速地使用模型本身來作爲 RLHF 的評判标準。我認爲這可能有點爲時過早。如果你真的想像我們在 Inflection 的 Pi 中那樣打造高質量的體驗，那麽你必須将所有産品設計知識和專業知識融入你的 AI 教師中，并快速關閉這個循環，讓他們與你的機器學習工程師并肩工作。所以我認爲這個基本範式在一段時間内将會保持不變。
我認爲這就是所有價值将被創造的地方。當有人在某個特定領域或應用領域真正取得優異成績時，這将是因爲他們能夠做到這一點。他們真的掌握了微調循環。他們讓他們的數據飛輪運轉起來。然後他們創造了一些對某些客戶具有巨大價值的東西。然後很顯然有人爲此付費，他們擁有先發優勢等等。所以我認爲這不會發生在預訓練階段。我認爲這是好消息，因爲它将是開源的，因爲我認爲 Meta 将繼續開源。所以我認爲這對社區來說非常好。我們沒有開源前沿技術，但我們正在開源 MLM 和 SLM。也就是中型語言模型和小型語言模型。
主持人： 你是否看到一個世界，在這個世界裏，大型語言模型 (LLM)、中型語言模型 (MLM)、小型語言模型 (SLM) 以及與所有這些不同模型的不同交互模型都能用于不同的用例，或者你認爲隻有一個會勝出？還是其他的？
穆斯塔法·蘇萊曼： 我不認爲會出現一個"統治所有"的模型。我的意思是，正如我所說，我認爲一個對智能有益的定義，也是你應該記住的定義，就是關于注意力和在正确的時間使用正确工具的定義。所以即使在我們今天的模型中，我們在幕後也部署了大量不同的模型。而真正關鍵的部分是你的路由器，它負責判斷這是一個非常複雜和罕見的查詢，是否需要路由到X模型，或者它實際上是一個非常快速的查詢，是否需要路由到Y模型？是安全問題？是信息檢索？還是個性化？顯然，會有一些專門的模型，比如醫療保健、法律、金融等領域。但是，最終将會有代表每個品牌、每個企業、每個影響者的AI。會有AI優先的明星名人。我的朋友尤瓦爾·諾亞·哈拉裏說，技術世界中下一個偉大的機器将是AI。
我認爲他說得有點道理。我認爲這有點可怕，但我認爲這可能是真的。這些AI将會非常強大且有說服力。因此，我認爲另一個需要考慮的問題是，你的AI在給你答案之前，會在幕後調用多個模型，它還會以閃電般的速度實時查詢大量其他不在你生态系統中的AI。它們會立即從第三方AI獲取信息，隻需幾秒鍾。從商業模式的角度來看，這非常有趣，因爲它意味着使用舊式的封閉式花園方法來鎖定價值将非常困難。因爲新的API就是語言。語言可以通過電話、電子郵件、向量空間等方式傳輸。幾乎所有方式，幾乎實時。
到2030年，每個人都會構建一個AI，就像每個人都建立了一個網站和一個應用程序一樣。所以這是一個相當困難的理論問題。就像你如何才能長時間地獲取價值？因爲它将競争非常激烈，這将降低每個人的成本和價格，從某種程度上來說這是個好消息，因爲個性化的知識和一切都會對每個人開放。所以我們隻需要考慮這種最終的市場動态是什麽。我必須考慮這個問題。我必須考慮這個問題。我還沒有完全弄清楚，我認爲沒有人弄清楚。特别是如果你認爲——如果你不同意我的2030年預測，那麽就把它推遲到2035年。當然，是的。你會有這種——我認爲這樣就更清楚了。
AI 如何幫助軟件開發
主持人： 我記得，這大概是八年前的事了。你去和福特這樣的公司談談。當時的福特汽車公司會告訴你，嘿，我們認爲全自動駕駛汽車。我們看到了一條路線圖，到2032年我們可以實現。然後埃隆出現了，他說，你在說什麽？在未來三到五年内，我就能做到。我希望我們不必等到2032年，但埃隆的時間表已經過去了，我們還沒有全自動駕駛汽車。所以對我來說，無論是2030年還是2035年，我認爲我們可以讨論，但更有趣的是，我認爲創新正在以非常非常快的速度發生，我認爲這才是最令人興奮的。誰知道呢，時間會證明一切。
穆斯塔法·蘇萊曼： 瘋狂的是，市場動态正在将生産成本降低到接近零邊際成本。這太瘋狂了，這真是令人難以置信的事情。考慮到這不僅僅是任何原材料，這不僅僅是知識，而是智能，對吧？所以智能将變得廉價且豐富，對吧？而智能是當今世界創造所有價值的東西，對吧？我們周圍的一切，每一棟建築，每一種材料，你所能看到的一切，都是我們物種綜合信息、做出這些巧妙預測、發明工具并利用這些工具創造更多事物能力的産物。
因此，你不必糾結于AGI超級智能的概念，隻需要應對預測引擎将變得超級廉價且廣泛可用這一概念帶來的深遠影響即可。我認爲每個人都有所收獲。我認爲每個人都有所收獲。我認爲每個人都有所收獲。
主持人： 你知道，也許是因爲我的背景，或者其他什麽原因，我真的很想考慮，比如，嘿，AI 如何幫助軟件開發？好的？我認爲世界正在看到很多巨大的進步，從GitHub Copilot開始，以及其他發生的事情。随着我們前進，你對AI如何幫助軟件開發有什麽看法？特别是當你考慮到，嘿，如果一個AI系統可以創建另一個AI系統，并且這一切都可以自動完成或接近自動完成，你認爲這會成倍地提高創新的速度嗎？
穆斯塔法·蘇萊曼： 是的，我的意思是，我們已經看到了這一點。GitHub Copilot 确實非常了不起。它節省了多少時間，這真是令人驚歎。我認爲這顯然會繼續下去，因爲我們将找到越來越高效的方法來生産相同的軟件。而且，你知道，一些全新的生成式體驗非常令人難以置信。所以，它是否會導緻智能爆炸或遞歸自我改進的問題，我認爲還爲時尚早。我今天沒有看到這一點。但我認爲我們必須注意在幾年後給予這些系統什麽樣的激勵。
有些能力你可以掌控，并說，好吧，這是一組高風險的能力。自主性顯然是一組高風險的能力。如果真的要進行有意義的幹預，就必須定義這一點，并真正限制其範圍等等。這很難。但是同樣，遞歸自我改進，這顯然會在五到十年後提高風險級别，并且可能需要監管機構以合理的方式來審視這種能力。這些問題的挑戰将是定義它們，并且不會像大規模地減緩創新一樣，因爲我認爲這很可能，他們可能會過度監管，這可能是不好的。這可能是不好的。
AGI使用時的安全風險及防控措施
主持人： Mustafa，你幾次提到了AGI，而我自身對AGI的經驗是，當我與人們談論AGI時，你可以将世界大緻分爲兩部分，對吧？一部分人會說，哦，我的上帝，我太興奮了，而另一部分人會說，哦，我的上帝，那是世界末日，對吧？我怎麽能想象AGI出現呢？這意味着可能會發生壞事，你可以回顧《終結者》，以及你在電影中看到的内容。
但總的來說，你如何看待安全問題？是的，你剛才提到，在未來五到十年内，随着自動駕駛真正實現，你甯願考慮，因爲一方面，這是一個高回報的局面，但這也是一個高風險的局面，對吧？因此，當你考慮你對每個地球人都将擁有AI助手的願景時，有哪些陷阱，有哪些事情是你正在考慮的，以及擴展到所有從事AI工作的人，他們應該考慮哪些防護措施、安全措施或其他與之相關的事情？
穆斯塔法·蘇萊曼： 是的，我的意思是，每項新技術都會帶來前所未有的風險，當時感覺這些風險與你以前見過的任何事情都截然不同。在我的書裏，我找到了1830年代利物浦首趟載客鐵路旅程的故事。火車和鐵軌對于迎接這列新火車到來的慶祝人群來說是如此陌生，其中包括1830年的首相和利物浦的地方議員，他們竟然站在鐵軌上迎接火車的到來。結果導緻慶祝活動中有大約15人喪生，其中包括利物浦的議員。因爲他們無法完全理解這列火車會直接沖向他們。
你知道，而我們與他們同屬一個物種，隻是過去了170年而已。我認爲，這是一種需要深刻理解的事情：面對新事物，如今我們世界各地都有火車，它們帶來了不可思議的變化，而且它們也成爲了我們遇到的最安全的事物之一，對吧？它們感覺平淡無奇，司空見慣。
所以，第一次發生這樣的事情時，你會感到害怕；第二次，你會想，好吧，我們該如何應對它？到第三次時，我們已經制定了各種治理機制。例如，想想汽車，它受到數十個不同機構的監管，從安全帶到駕駛員排放、交通信号燈、駕駛員培訓到擋風玻璃抗拉強度，都有多層保護措施。我的意思是，這需要時間，但我們會逐步建立遏制機制。這就是爲什麽當無人機出現時，我們能夠将80多年航空法規積累的經驗應用到這項新技術上，現在我們不會有無人機随意自主飛行，侵犯我們的隐私，以奇特的方式遞送包裹等等。所有這些都得到了很好的規範，并且影響相對較小。
關鍵在于，我們必須吸取先前技術浪潮的教訓。就我而言，這是Web 2.0和社交媒體時代，因爲這與當前情況最爲接近，我們可以從中吸取所有問題和錯誤的教訓，并盡快将這些教訓應用到我們面臨的新事物中。所以，長話短說，我對這項技術持樂觀态度，但前提是我們必須認真對待風險的規模，并且真正承擔起責任，這并非易事，肯定會有損失。沒有不造成任何損害的路徑。也許，未來我們必須做出的最艱難的決定實際上是關于我們不做的事情，也就是關于技術的應用。因爲我們正在跨越一個臨界點，在這個臨界點上，一小撮高度集中的突破性進展會非常迅速地影響到數億人。這種一對多的效應也是前所未有的。這不像我們作爲一個物種以前真正應對過的事情。
技術的能力和邊界在哪裏
主持人：作爲一名人工智能技術專家，您是否覺得您和世界其他地方的人們都在花足夠的時間思考安全問題？或者說，我們先來構建技術，看看它的能力和邊界在哪裏，然後再考慮安全問題？您認爲我們處于這個範圍的哪個位置？
穆斯塔法·蘇萊曼：我兩種觀點都有。一方面，安全問題讓我抓狂，因爲我覺得我從2010年就開始談論這個問題了。但另一方面，這也是最需要擔心的事情之一。所以，就像所有這些事情一樣，它感覺非常重要和緊迫，而且我們也一遍遍地聽到同樣的事情，你是悲觀主義者還是超級樂觀主義者？我認爲我們彼此的言辭已經讓我們感到厭倦，因此我認爲，如今如何在實踐中解決問題才是最大的挑戰，尤其是在社交媒體如此盛行，批評如此之多的情況下。
主持人：我知道，雖然這是一次很棒的談話，但我了解到我們的時間快到了，但我還是想問您最後一個問題。大部分觀衆都是創始人、企業家或以某種形式從事人工智能工作的人，對吧？從"我公司隻有兩個人和一個PowerPoint演示文稿"到規模化運營，等等。如果您想告訴下一代企業家一兩件事，您會說什麽？
穆斯塔法·蘇萊曼：我認爲有一點被低估了，那就是：承擔更多風險。對許多企業家來說，這可能是一件奇怪的事情，但我經常看到人們不夠全力以赴。要知道，你必須全力以赴。我認爲，我肯定多次經曆過這種情況，有時會非常撞牆。但我真的認爲，如果你的整個心态不是"我準備犧牲一切，真正專注于執行"，那麽它就會産生一種令人驚歎的徹底負責的态度，這會讓你專注于成敗。有時我覺得，即使在創業社區中，也存在着太多的舒适感。而且，我認爲這是一種強大的力量，可以推動我們的創造力向前發展。所以，全力以赴是一件很棒的事情，真的。我喜歡。
主持人：謝謝。讓我們一起感謝他。非常感謝。這真的太棒了。
穆斯塔法·蘇萊曼：非常感謝。回頭見。
