NVIDIA（英偉達）公司 CEO 黃仁勳近期做客「Open Source」雙周對話，同 Brad Gerstner 與 Altimeter 合夥人 Clark Tang 一起探讨了與關于推動智能向通用人工智能（AGI）發展的主題。
在 AI 和機器學習領域深耕多年，黃仁勳對 AI 發展現狀和前景的評價一針見血：這是一場徹底的革命。
推理迎來爆炸式增長，開源模型需求量爆棚，完整兼容的 AI 基礎設施不斷落地……這個 AI 大行其道的時代，黃仁勳大膽構想，希望未來的英偉達能夠擁有 5 萬名員工和 1 億個 AI 助手。
當談及英偉達在當今 AI 世界的競争壁壘和定位時，黃仁勳對自身優勢十分自信清醒，同時也有着不小的野心：英偉達最擅長的是算法，我們的使命是爲新世界構建一個無處不在的計算平台。
當然，有别于争奪市場份額，這顆野心隻關乎「開拓」。
在時長近一個半小時的訪談中，黃仁勳眼光犀利地剖析了機器學習如何重塑計算世界，AI 如何帶來前所未有的技術革命，并最終掀起巨大的革命浪潮。此外，還涉及 AI 的安全性和開源争議等話題。
看似高冷的皮夾克之下，是黃仁勳對 AI 領域的熾熱初心：我會認真對待工作，認真對待責任，認真對待社會貢獻以及我們所處的時代。
本次訪談的信息密度相當之大，對于 AI 行業的探讨也前所未有的深入，不容錯過！
原訪談視頻鏈接：
https://www.youtube.com/watch?v=bUrCR4jQQg8
我們對黃仁勳在本次訪談中的主要觀點做了簡要梳理，如下：
個人 AI 助手将很快出現，并且會随時間不斷進化；
我們已經從人類編程轉向了機器學習，整個技術棧都在實現創新和增長；
促進 AI 的加速進化，需要對「飛輪」的每個部分都進行加速；
未來的計算（應用程序開發）将高度依賴機器學習和 AI，并且會有智能體來幫助人類使用這些應用程序；
AI 不會取代工作，它将改變工作，并将對人們如何看待工作産生深遠影響；
AI 的安全是基礎，不一定需要爲每一項重要技術單獨立法，也不能讓監管過度擴展到不必要的領域；
必須有開源模型來推動 AI 的創建，開源對于許多行業的激活是必要的；
以下是由 APPSO 編譯的訪談全文：
從人類編程轉向機器學習
Brad Gerstner：現在是 10 月 4 日星期五，我們在英偉達總部，就在 Altimeter 街下。我們将在周一召開年度投資者會議，讨論 AI 的所有影響，以及我們在智能擴展速度上的進展。
我真的想不出比你更合适的人來開啓這個話題了，你既是股東，也是我們的智囊夥伴，和你一起探讨想法總能讓我們變得更加明智。我們對這段友誼表示感激，所以感謝你的到來。
黃仁勳：很高興來到這裏。
Brad Gerstner：今年的主題是将智能擴展到通用人工智能（AGI）。
令人震撼的是，兩年前我們做這個的時候，主題是 AI 時代，而那是在 ChatGPT 發布前兩個月。想到這一切變化，真的是讓人驚訝。所以我想我們可以以一個思想實驗來開始，也許還可以做個預測。
如果我把通用人工智能（AGI）簡單理解爲我口袋裏的個人助手，正如我所理解的那樣，它知道我所有的事情，擁有關于我的完美記憶，能夠與我溝通，可以爲我預訂酒店，甚至可以爲我預約醫生。在你看來，今天這個世界的變化速度如此之快，你認爲我們什麽時候能夠擁有這種口袋裏的個人助手？
黃仁勳：很快會以某種形式出現。那個助手會随着時間的推移變得越來越好。這就是我們所了解的技術的美妙之處。所以我認爲，剛開始時它會非常有用，但并不完美。然後随着時間的推移，它會變得越來越完美。就像所有技術一樣。
Brad Gerstner：當我們觀察變化速度時，我記得 Elon 曾說過，唯一重要的事情是變化速度。我們确實感到變化的速度大大加快了，這是我們在這些問題上見過的最快的變化速度，因爲我們在 AI 領域已經研究了大約十年，而你甚至更久一些。在你的職業生涯中，這是你見過的最快的變化速度嗎？
黃仁勳：是的，因爲我們重新發明了計算。這些變化很大程度上是因爲我們在過去 10 年内将計算的邊際成本降低了 10 萬倍。如果按照摩爾定律計算，這個過程大約是 100 倍的提升，但我們做到了遠遠超過這一點。我們通過幾種方式實現了這一目标。
首先，我們引入了加速計算，将在 CPU 上效率不高的工作轉移到 GPU 上。
其次，我們發明了新的數值精度，開發了新的架構，設計了集成核心，改進了系統的構建方式，MVLink 增加了超快的内存（HBM），并通過 MVLink 和 InfiniBand 實現了全棧擴展。基本上，所有我描述的關于英偉達做事方式的細節，都促成了超越摩爾定律的創新速度。
現在，真正令人驚歎的是，正因爲如此，我們從人類編程轉向了機器學習。
而機器學習最令人驚訝的地方在于，事實證明它的學習速度非常快。所以，随着我們重新定義計算的分布方式，我們進行了多種形式的并行處理：張量并行、流水線并行，以及各種各樣的并行計算方式。我們在這一基礎上發明了新算法，并開發了新的訓練方法。所有這些發明都在彼此之間産生了複合效應。
回到過去，如果你看看摩爾定律當時的運作方式，會發現軟件是靜态的。它被預設爲像包裝好的産品一樣靜态存在，然後硬件則以摩爾定律的速度發展。而現在，我們是整個技術棧在增長，整個棧都在進行創新，我認爲這就是現狀。
現在突然之間我們看到了驚人的擴展，當然，這是非凡的變化。但我們以前讨論的是預訓練模型以及在這個層面上的擴展，如何通過将模型大小翻倍，适當地将數據量也翻倍。
因此，每年所需的計算能力都會增加 4 倍。這當時是個大事。但現在我們看到了在後訓練階段的擴展，也看到了推理階段的擴展，對吧？人們過去常認爲預訓練很難，而推理相對容易。
現在一切都變得很難，這種觀點其實是合理的，畢竟将所有人類的思維都歸結爲一次性完成的過程是荒謬的。所以思維一定存在快思維和慢思維、推理、反思、叠代、模拟等概念，而現在這些概念正在逐漸融入進來。
Clark Tang：我認爲，就這一點而言，關于英偉達最被誤解的一件事就是英偉達的真正技術優勢有多大，對吧？我認爲外界有一種看法，認爲一旦有人發明了一種新芯片或者更好的芯片，他們就赢了。
但事實是，過去十年你們一直在構建完整的技術棧，從 GPU 到 CPU，再到網絡，尤其是那些讓應用程序能夠在英偉達平台上運行的軟件和庫。你認爲今天英偉達的技術優勢比三到四年前更大還是更小？
黃仁勳：我很感謝你意識到計算已經發生了變化。事實上，人們之所以認爲（現在很多人仍然這麽認爲）設計一款更好的芯片就行了，是因爲它有更多的浮點運算能力（flops），有更多的翻轉、字節和位，你懂我的意思嗎？你看他們的主題演講幻燈片，上面都是這些翻轉和浮點運算，還有各種條形圖、圖表之類的。
這些都很好，我的意思是，性能當然很重要，所以這些基本上确實很重要。然而，不幸的是，這是老舊的思維方式。因爲那時的軟件隻是在 Windows 上運行的某個應用程序，軟件是靜态的，這意味着你能改進系統的最好方式就是制造越來越快的芯片。
但我們意識到，機器學習不是人類編程。機器學習不僅僅是關于軟件，它是關于整個數據通路的。事實上，機器學習的核心飛輪（flywheel）是最重要的東西。那麽，你是如何考慮在推動這個飛輪的同時，讓數據科學家和研究人員能夠在這個飛輪中高效工作的？而這個飛輪從最最初的階段就開始了。
許多人甚至沒有意識到，實際上需要 AI 來整理數據，來教導另一個 AI。而僅僅這個 AI 本身就已經相當複雜了。
▲個人 AI 助手将很快以某種方式出現（圖源：NITCO）
加速飛輪的每一步
Brad Gerstner：那它本身也在改進嗎？它是否也在加速？你知道，當我們再一次思考競争優勢時，對吧？這實際上是所有這些因素的組合效應。
黃仁勳：完全正确，正是因爲更智能的 AI 來整理數據，現在我們甚至有了合成數據生成以及各種不同的數據整理和呈現方式。所以在你進行訓練之前，就已經涉及到大量的數據處理。而人們總是想到 PyTorch 是整個世界的起點和終點。
它确實非常重要，但不要忘了，在使用 PyTorch 之前有大量的工作，使用 PyTorch 之後也有大量工作。而關于飛輪的概念，實際上是你應該思考的方式。你知道，我應該怎麽去思考整個飛輪？我該如何設計一個計算系統，一個計算架構，幫助你讓這個飛輪盡可能高效運轉？這并不是一個應用訓練的單一步驟，對吧？這隻是其中一步，好嗎？
飛輪的每一步都很困難，所以你應該首先思考的不是如何讓 Excel 更快運行，也不是如何讓《毀滅戰士》更快運行，那是過去的老路，對吧？
現在你需要考慮的是如何讓這個飛輪更快。而這個飛輪包含了很多不同的步驟，正如你們所知道的，機器學習沒有什麽是簡單的，OpenAI 所做的事情，或者 X 所做的事情，或者 Gemini 團隊和 DeepMind 所做的事情，都沒有什麽是簡單的。
因此我們決定，這才是你應該真正思考的。這是整個過程，你需要加速每一個部分。你要尊重阿姆達（Amdahl）定律，阿姆達定律會告訴你，如果這個部分占用了 30% 的時間，我将它加速了 3 倍，我并沒有真的将整個過程加速太多，明白嗎？
你真的需要創建一個能加速每一步的系統，隻有通過加速整個過程，你才能真正顯著改善這個循環時間，而那個學習速率飛輪，最終就是導緻指數式增長的原因。
所以我要說的是，一個公司的觀點實際上會反映在它的産品上。注意，我一直在談論這個飛輪。
Clark Tang：你是說整個周期。
黃仁勳：沒錯，而且我們現在加速了一切。現在的主要焦點是視頻。很多人都專注于物理 AI 和視頻處理。試想一下前端，每秒有數 TB 的數據進入系統。給我舉個例子，說明處理這些數據的管道是如何運行的，從數據攝取到準備進行訓練的全過程，而這一切都是 CUDA 加速的。
Clark Tang：現在人們隻在思考文本模型，但未來還包括視頻模型，同時使用一些文本模型，比如 o1，來在我們開始處理之前先處理大量的數據。
黃仁勳：語言模型将會涉及到每一個領域。行業花費了大量技術和精力來訓練語言模型，來訓練這些大型語言模型。現在我們在每一步都使用更低的計算成本。這真的非常了不起。
Brad Gerstner：我不想過于簡單化這個問題，但我們确實經常從投資者那裏聽到這樣的問題，對吧？是的，但定制化芯片呢？是的，但他們的競争壁壘會不會因此被打破？
我聽到你所說的是，在這個組合系統中，優勢是随着時間增長的。所以我聽你說，我們今天的優勢比三四年前更大，因爲我們在改進每一個組件。而這種組合效應，意味着你知道，比如作爲一個商業案例研究，英特爾曾經在技術棧中占據主導地位，而你們今天相對他們而言處于什麽位置？
也許可以簡單概括一下，比較一下你們今天的競争優勢與他們在巅峰時期的競争優勢。
黃仁勳：英特爾是非凡的。英特爾之所以非凡，是因爲他們可能是第一家在制造工藝工程和生産方面極其出色的公司，而在制造工藝的基礎上更進一步的是設計芯片，對吧？他們設計了芯片，構建了 x86 架構，并且不斷制造更快的 x86 芯片。這是他們的聰明之處。他們将這一點與制造工藝加以結合。
我們的公司稍微有些不同，因爲我們認識到，事實上，平行處理并不需要每個晶體管都非常完美。串行處理要求每個晶體管都必須完美無缺，而平行處理需要大量的晶體管以實現更高的成本效益。
我甯願要多 10 倍的晶體管，速度慢 20%，也不願要少 10 倍的晶體管，速度快 20%。明白嗎？他們則更喜歡相反的選擇，因此單線程性能和單線程處理與平行處理非常不同。所以我們意識到，實際上我們的世界并不是追求往下做得更好。我們想做到盡可能的好，但我們的世界真正關心的是如何往上做得更好。
并行計算、并行處理很難，因爲每個算法都需要根據架構以不同的方式重構和重新設計。人們沒有意識到的是，你可以有三種不同的 CPU，它們都有各自的 C 編譯器，你可以把軟件編譯到相應的 ISA（指令集架構）上。這在加速計算中是不可能的，在并行計算中也是不可能的。
開發出架構的公司必須開發出自己的 OpenGL。所以我們徹底改變了深度學習，因爲我們有一個特定領域的庫，叫做 CUDNN。沒有 CUDNN，就沒有今天的深度學習。
沒有人談論 CUDNN，因爲它是在 PyTorch 和 TensorFlow 之下的一層。早期還有 Caffe 和 Theano，現在有 Triton，還有很多不同的框架。那個特定領域的庫，像 CUDNN，還有 Optics，一個特定領域的庫叫做 CuQuantum，Rapids，還有其他很多庫。
Brad Gerstner：行業特定的算法就位于那個大家都關注的 PyTorch 層之下，比如我經常聽到人們說，如果沒有這些底層庫的話……
黃仁勳：如果我們沒有發明它，任何頂層的應用程序都無法運行。你們明白我在說什麽嗎？從數學上講，英偉達真正擅長的是算法，它融合了上層的科學與下層的架構，這是我們真正擅長的。
▲黃仁勳在訪談中
我們已經進入推理時代
Clark Tang：現在所有的關注點終于集中到了推理上。但是我記得兩年前，Brad 和我和你共進晚餐時，我們問你一個問題：你認爲英偉達在推理領域的技術優勢會像在訓練領域一樣強大嗎？
黃仁勳：我肯定說過，它會更強大。
Clark Tang：你剛才提到了很多因素，比如模塊化組合，不同組合的總成，有時我們并不完全了解。對于客戶來說，能夠在這些之間靈活切換非常重要。但你能不能再談談，現在我們已經進入了推理時代。
黃仁勳：推理就是大規模的推理訓練，對吧？所以，如果你訓練得好，那麽很有可能你的推理也會很好。如果你在這種架構上進行訓練而沒有任何調整，它将能夠在這種架構上運行。
當然，你依然可以爲其他架構進行優化，但至少，因爲它已經是在英偉達的架構上構建的，所以它能夠在英偉達的架構上運行。
另一個方面，當然，還有資本投資方面的問題。當你訓練新模型時，你會希望使用最新最好的設備進行訓練，而這會留下之前使用過的設備。而這些設備非常适合用于推理。因此，會有一條免費的設備路徑。
新的基礎設施背後有一條免費的基礎設施鏈，這些設備與 CUDA 兼容。所以我們非常嚴謹，确保整個過程的兼容性，這樣我們留下的設備依然能夠保持卓越性能。
同時，我們也投入了大量精力，不斷重新發明新的算法，以确保當時機來臨時，Hopper 架構的性能會比剛購買時提升 2 到 4 倍，從而讓基礎設施繼續保持高效。
所以，我們在改進新算法、新框架方面所做的所有工作，不僅幫助了我們每一個安裝的基礎架構，Hopper 因此變得更好，Ampere 也因此變得更好，甚至 Volt 也因此變得更好。
我記得 Sam 剛剛告訴我，他們最近剛從 OpenAI 退役了他們的 Volt 基礎設施。所以，我認爲我們留下了這些安裝基礎架構的痕迹。正如所有計算基礎架構一樣，安裝基礎架構是很重要的。
英偉達的産品遍布每一個雲端、内部部署，直到邊緣設備。因此，在雲端創建的 Vela 視覺語言模型無需修改便能完美運行于邊緣的機器人上。這一切的底層都是 CUDA。所以，我認爲架構兼容性的概念對大型項目非常重要。這和 iPhone 或其他設備的兼容性概念沒有什麽不同。
我認爲，安裝基礎架構對推理非常重要，但我們真正受益的是，因爲我們在新的架構上訓練這些大型語言模型時，我們能夠思考如何創造出在未來非常優秀的推理架構。
所以我們一直在思考叠代模型和推理模型，如何爲你的個人智能體創造非常交互性的推理體驗，比如當它需要停下來思考一段時間時，如何快速與你互動。
所以，我們是如何實現這一目标的？答案是 NVLink。你知道，NVLink 讓我們能夠使用這些适合訓練的系統，但當訓練完成後，它的推理性能也非常卓越。你希望優化的是首次 Token 的響應時間，而實現首次 Token 的響應時間非常困難，因爲這需要大量的帶寬。
如果你的上下文也非常豐富，那麽你還需要大量的計算能力。因此，你需要在同一時間擁有無限的帶寬和計算能力，才能實現幾毫秒的響應時間。而這種架構非常難以實現。爲此，我們發明了 Grace Blackwell NVLink。
▲NVIDIA Blackwell 架構（圖源：NVIDIA）
英偉達正在構建完整的、兼容的 AI 基礎設施
Brad Gerstner：你知道，我這周早些時候和 Andy Jassy 共進晚餐，Andy 說：「我們有 Tranium，還有即将到來的 Inferencia」。我認爲大多數人，還是認爲這些對于英偉達是個挑戰。
但緊接着他說「英偉達是我們一個非常重要的合作夥伴，而且未來還将繼續是我們非常重要的合作夥伴，至少在我所能預見的未來」。
世界依靠英偉達運行，對吧？所以，當你想到這些爲特定應用開發的定制 ASIC，比如 Meta 的推理加速器，或者 Amazon 的 Tranium，或者 Google 的 TPUs，還有你當前面臨的供應短缺問題時，這些因素會改變你們之間的動态，還是說它們隻是對你們系統的補充？
黃仁勳：我們隻是在做不同的事情，我們試圖實現不同的目标。英偉達正在嘗試爲這個新世界構建一個計算平台，這個機器學習的世界，這個生成式 AI 的世界，這個智能體 AI 的世界。
我們想要創造的是，經過 60 年的計算，我們重新發明了整個計算棧，從編程到機器學習的方式，從 CPU 到 GPU 的軟件處理方式，從軟件到人工智能的應用方式，對吧？軟件工具、人工智能——計算棧的每個方面，技術棧的每個方面都發生了變化。
我們想要做的是創建一個無處不在的計算平台，這實際上是我們工作的複雜性所在。如果你思考我們在做什麽，我們是在構建一個完整的 AI 基礎設施，我們把它看作是一台計算機。
我以前說過，數據中心現在是計算的基本單位。對我來說，當我思考一台計算機時，我不是在想那塊芯片，我是在想這個概念：它是我的心智模型，裏面包括所有的軟件、編排和所有的機械部分。這是我的使命，這是我的計算機，我們每年都在試圖構建一台全新的計算機。
是的，這太瘋狂了，之前沒有人這麽做過。我們每年都在嘗試構建一台全新的計算機，而且每年我們都交付兩到三倍的性能提升。每年我們都會将成本降低兩到三倍，每年我們都會将能效提高兩到三倍。
所以我們告訴客戶，不要一次性購買所有設備，每年購買一點，好嗎？原因是，我們希望他們能夠逐步進入未來，所有的架構都是兼容的，好嗎？
現在，僅僅以這樣的速度構建這個平台就已經非常難了，而雙倍的難度在于，我們不僅要銷售基礎設施或服務，而是把它們拆解開來，然後将它們集成到 GCP 中，集成到 AWS 中，集成到 Azure 中，集成到其他平台中，明白嗎？
每個平台的集成都不一樣。我們必須把所有的架構庫、所有的算法和所有的框架集成到他們的系統中。我們把我們的安全系統集成到他們的系統中，我們把我們的網絡集成到他們的系統中，對吧？然後我們每年進行大概 10 次這樣的集成。而這就是奇迹所在。
Brad Gerstner：這就是奇迹所在，爲什麽？我的意思是，這太瘋狂了。你每年都在做這些事，這真的很瘋狂。想一想，是什麽驅動你每年都這樣做的？
然後再說到這一點，你知道 Clark 剛從中國台灣、韓國和日本回來，見了你所有的供應合作夥伴——那些你已經有十多年合作關系的夥伴。這些合作關系對于構建那個競争壁壘的組合效應有多重要？
黃仁勳：是的，當你系統性地分解時，大家越是分解，就越會感到驚訝，整個電子行業生态系統今天是如何緻力于與我們合作，最終構建出這個計算機的立方體，并将其整合到所有不同的生态系統中的？而且協調是如此無縫。顯然，我們向後傳遞了 API、方法學、業務流程和設計規則，向前傳遞了方法學、架構和 API。
Brad Gerstner：這些已經被強化了幾十年。
黃仁勳：強化了幾十年，同時也在不斷演進。但這些 API 在需要的時候必須整合在一起——所有這些在中國台灣和世界各地制造的東西，最終會落到 Azure 的數據中心。它們會組合到一起。
Clark Tang：有人隻需要調用 OpenAI API，它就能正常工作。
黃仁勳：沒錯，完全是那種瘋狂的感覺。這就是我們發明的東西，我們發明了這個龐大的計算基礎設施，整個世界都在和我們一起構建它。
它被整合到了各個領域，你可以通過戴爾銷售它，可以通過惠普（HPE）銷售它，它托管在雲端，也延伸到了邊緣設備。人們現在在機器人系統中使用它，在人形機器人中使用它，它們在自動駕駛汽車中使用，它們都在架構上兼容，這真的非常瘋狂。
Clark，我不希望你誤以爲我沒有回答你的問題，事實上，我已經回答了。我所指的與你的 ASIC 相關的問題是這樣的。
我們作爲公司，隻是在做不同的事情。作爲一家公司，我們希望能夠對環境有清晰的認知。我對我們公司及其生态系統周圍的一切都非常清楚，對吧？
我知道所有在做不同事情的人以及他們在做什麽。有時候，這對我們來說是對抗性的，有時候不是。我對此非常清楚。但這并不會改變我們公司的目标。公司唯一的目标就是構建一個可以無處不在的架構平台，這就是我們的目标。
我們并不想從任何人那裏搶占市場份額。英偉達是市場的開拓者，而不是份額的争奪者。如果你看我們的公司報告，你會發現我們從來不談市場份額，從來沒有一天我們會在公司内部談論市場份額。
我們所有的讨論都是關于如何創造下一個東西？我們如何解決飛輪中的下一個問題？我們如何爲人們做得更好？我們如何将過去需要一年的飛輪周期縮短到一個月？你知道，這相當于飛輪的光速，不是嗎？我們在思考所有這些不同的問題，但有一件事是确定的，我們對周圍的一切都有清醒的認識，但我們對自己的使命非常明确。
唯一的問題是，這個使命是否必要，是否有意義。所有偉大的公司都應該有這樣的使命。
從根本上講，問題是你在做什麽？唯一的問題是，它是否必要，是否有價值，是否有影響力，是否能幫助到别人？我非常确定，如果你是一名開發者，一家生成式 AI 初創公司，正在決定如何成爲一家公司，你唯一不需要考慮的選擇就是支持哪個 ASIC。
如果你隻支持 CUDA，那麽你可以在任何地方使用它，你以後随時可以改變主意，但我們是進入 AI 世界的入口，不是嗎？一旦你決定進入我們的平台，其他決策都可以延後，你以後随時可以開發自己的 ASIC，我們對此毫不介意。
當我與 GCP 合作時，GCP、Azure 等公司，我們會提前幾年向他們展示我們的路線圖。他們不會向我們展示他們的 ASIC 路線圖，這也不會冒犯我們，明白嗎？如果你的目标明确且有意義，并且你的使命對你自己和他人都很重要，那麽你就可以保持透明。
注意，我的路線圖在 GTC 上是公開的，而我的路線圖在 Azure、AWS 等合作夥伴那裏會更深入。我們在這些方面沒有任何困難，即使他們正在開發自己的 ASIC。
▲NVIDIA 的使命是構建完整兼容的 AI 基礎設施（圖源：The Brand Hopper）
AI 正在改變行業未來
Brad Gerstner：我覺得，當人們觀察這個行業時，你最近說過，對 Blackwell 的需求是「瘋狂的」。你還說，工作中最難的一部分就是在這個計算資源短缺的世界裏，忍受對别人說「不」所帶來的情感負擔。
但批評者說，這隻是一個時間節點，他們認爲這就像 2000 年思科過度建設光纖一樣，将會經曆繁榮與蕭條。你知道，我想到 2023 年年初我們一起吃飯的時候，當時的預測是英偉達 2023 年的營收會達到 260 億美元，但你們實際做到了 600 億，對嗎？
黃仁勳：承認吧，這是世界上有史以來最大的預測失敗。
Brad Gerstner：那時候我們在 2022 年 11 月特别激動，因爲像來自 Inflection 的 Mustafa 和來自 Character 的Noam 等人來到我們辦公室讨論投資他們的公司。他們說，如果你們不能直接投資我們的公司，那就買英偉達吧，因爲全世界都在争相獲得英偉達的芯片，用來構建那些将要改變世界的應用。
當然，随着 ChatGPT 的出現，這一「寒武紀時刻」到來了。然而，即便如此，這 25 位分析師仍然沉迷于「加密寒冬」，無法想象世界上正在發生的事情，對吧？所以最終結果遠超預期。
你明确表示，對 Blackwell 的需求非常瘋狂，并且未來會一直如此。當然，未來是未知且不可知的，但爲什麽批評者的看法錯得如此離譜？這不會像 2000 年思科那樣成爲過度建設的局面。
黃仁勳：思考未來的最佳方式是從基本原理推理出來，對吧？所以問題是，我們現在在做的事情的基本原理是什麽？第一，我們在做什麽？我們在做什麽？我們正在重新發明計算，不是嗎？
我們剛剛說過，未來的計算将高度依賴機器學習，對嗎？我們幾乎所有的應用程序，無論是 Word、Excel、PowerPoint、Photoshop、Premiere、AutoCAD，無論你給我舉什麽例子，所有這些都是手工設計的。我向你保證，未來這些都會高度依賴機器學習，不是嗎？
并且，在這些工具之上，你還會有智能體來幫助你使用它們。
所以，到現在爲止，這已經是個事實了，對吧？我們重新發明了計算，我們不會回頭。整個計算技術棧正在被重新定義。
好了，現在我們已經做到了這一點，我們說軟件将會不同，軟件的編寫方式将會不同，使用軟件的方式也會不同。所以，讓我們承認這些是我的基本事實。是的，那麽問題來了，接下來會發生什麽？
那麽讓我們回顧一下，過去的計算是怎麽做的。我們有一萬億美元的計算機設備。看看過去的數據中心，打開門看看，你會說那些是你想要用來面對未來的計算機嗎？答案是否定的。
你看到那些 CPU，我們知道它能做什麽，不能做什麽。我們也知道現在有價值一萬億美元的數據中心需要現代化。因此，眼下，如果我們要在未來四五年内進行現代化改造，那是完全合理的，也是明智的。
Brad Gerstner：所以我們已經在和那些需要進行現代化改造的人溝通，他們正在使用 GPU 進行現代化改造，沒錯。
黃仁勳：我的意思是，讓我們做個假設。你有 500 億美元的資本支出，你會選擇 A 選項：爲未來建設資本支出，還是 B 選項：按照過去的模式建設資本支出？你已經有了過去的資本支出，就在那裏放着，反正它不會變得更好。
摩爾定律基本上已經結束了，所以爲什麽要重建呢？我們隻需要把這 500 億美元投入到生成式 AI 中，不是嗎？這樣你的公司就會變得更好。那麽你會把這 500 億中的多少投入進去？我會把 100% 的 500 億都投入進去，因爲我已經有了四年的舊基礎設施。
所以現在，從基本原理出發，你隻是從這個角度來推理，而這正是他們正在做的事情。聰明的人在做聰明的事情。
現在第二個部分是這樣的：我們有一萬億美元的容量要去建設，對吧？一萬億美元的基礎設施，可能投入了 1500 億美元，對吧？所以我們在未來 4 到 5 年内要建設一萬億美元的基礎設施。
我們觀察到的第二點是，軟件的編寫方式不同了，而未來軟件的使用方式也會不同。我們将會有智能體，不是嗎？
我們公司将會有數字員工，他們會在你的收件箱裏，在未來，這些小點點、小頭像會變成 AI 的圖标，不是嗎？我會向他們發送任務。我不再用 C++ 編程了，我會用提示詞來「編程」AI，不是嗎？這和我今天早上寫了一堆郵件沒有什麽不同。
我給我的團隊下達了指示，對吧？我描述了背景，說明了我知道的基本限制，并描述了他們的任務。我會給他們足夠的方向感，讓他們明白我需要什麽，我希望對預期結果盡可能明确。但我也會留出足夠的創造空間，讓他們可以給我帶來驚喜，不是嗎？
這和我今天如何提示 AI 沒有什麽不同，這正是我提示 AI 的方式。所以在我們現代化改造的基礎設施之上，将會有一個全新的基礎設施。這套新基礎設施就是将操作這些數字人的 AI 工廠，它們會全天候地運行。
我們将在全球所有的公司中擁有它們，在工廠中擁有它們，在自動化系統中擁有它們，對嗎？所以這個世界需要建立一整層計算結構，我稱之爲 AI 工廠的基礎設施，這些現在還不存在。
所以問題是，這個規模有多大？目前我們還無法知道，可能是幾萬億美元的規模，但美妙的是，現代化改造的數據中心架構與 AI 工廠的架構是相同的。
Brad Gerstner：這就是美妙之處。你已經說得很清楚了，你有一萬億美元的舊基礎設施需要現代化改造，同時至少還有一萬億美元的新 AI 工作負載正在到來，今年大約會有 1250 億美元的收入。
你知道，曾經有人告訴你們這家公司永遠不會超過 10 億美元的市值。而如今你坐在這裏，如果你隻占到了幾萬億總市場（TAM）的 1250 億收入，有什麽理由讓你認爲你們未來的收入不會是現在的 2 倍、3 倍？有什麽理由讓你們的收入不會繼續增長？
黃仁勳：沒有，沒錯。你知道，這并不是關于現在的事情。公司隻會受到「池塘」大小的限制，你知道，金魚隻能長到與池塘相匹配的大小。
所以問題是，我們的池塘有多大？這需要很多想象力，這也是爲什麽市場開拓者會思考未來，而不是隻在現有的池塘裏競争。
如果你隻是回顧過去、試圖搶占市場份額，這很難看清未來。市場份額的争奪者隻能做到這麽大，而市場的開拓者可以變得非常大。所以，我認爲我們公司的幸運之處在于，從公司成立的第一天起，我們就必須爲自己創造市場空間。
人們當時沒有意識到這一點，但我們幾乎從零開始創造了 3D 遊戲 PC 市場。我們基本上發明了這個市場以及所有相關的生态系統，包括顯卡的生态系統。我們發明了這一切。所以，創造一個全新的市場來服務它，對我們來說是一件非常熟悉的事情。
▲Brad Gerstner（左）和 Clark Tang（右）在訪談中
不可思議的 OpenAI 和 X.AI
Brad Gerstner：沒錯，作爲一個發明了新市場的人來說，這确實如此。讓我們稍微轉移話題，談談模型和 OpenAI。你知道，OpenAI 這周籌集了 65 億美元，估值達到約 1500 億美元。我們都參與了這次融資。
黃仁勳：真的爲他們感到高興，真的很高興這一切順利達成。是的，他們做得很棒，團隊也表現得非常出色。
Brad Gerstner：有報告稱他們今年的收入或收入運行率大約是 50 億美元，明年可能達到 100 億美元。如果你看今天的業務規模，它的收入大約是谷歌在 IPO 時的兩倍。
他們有 2.5 億的每周活躍用戶，我們估計這是谷歌 IPO 時用戶量的兩倍。而如果你看它的業務倍數，如果你相信他們明年能達到 100 億美元收入，那麽他們的市值大約是明年收入的 15 倍，這和谷歌和 Meta 在 IPO 時的倍數差不多，對吧？當你想到這家公司 22 個月前還沒有任何收入和每周活躍用戶時，這非常驚人。
黃仁勳：Brad 對曆史有着不可思議的掌握。
Brad Gerstner：當你想到這一點時，和我們談談 OpenAI 作爲你們的合作夥伴，以及它在推動公衆對 AI 的認知和使用方面的重要性。
黃仁勳：嗯，這是我們時代最具影響力的公司之一。這是一家純粹的 AI 公司，追求通用人工智能（AGI）的願景。
無論 AGI 的定義是什麽，我幾乎不認爲它的定義完全重要，也不相信時間節點的重要性。我所知道的一件事是，AI 将在未來的時間裏不斷展現出一系列能力。這些能力的發展路線圖将會非常驚人。在到達任何人所定義的 AGI 之前，我們就會将其廣泛應用。
你現在要做的就是去和數字生物學家、氣候科技研究人員、材料研究人員、物理科學家、天體物理學家、量子化學家對話。你可以去找視頻遊戲設計師、制造工程師、機器人專家，選擇你喜歡的行業，深入其中，和那些重要的人對話，問他們，AI 是否徹底改變了他們的工作方式？然後你把這些數據點帶回來，再問問自己，你到底有多懷疑？
因爲他們不是在談論 AI 未來某天的概念性好處，他們正在談論現在就使用 AI。無論是農業科技、材料科技、氣候科技，選擇你想要的科技領域或科學領域，它們正在進步，AI 正在幫助他們推進他們的工作。
就在我們說話的這一刻，每個行業、每家公司、每所大學都在使用 AI，難以置信，不是嗎？它絕對會在某種程度上改變商業，我們知道這一點，對吧？我的意思是，這種變化是如此真實，正在發生。所以我認爲 ChatGPT 所引發的 AI 覺醒完全是不可思議的。我喜歡他們的速度和他們推動這一領域的單一目标，所以它真的非常具有影響力。
Brad Gerstner：他們構建了一個可以爲下一代模型融資的引擎。我認爲矽谷的共識正在增加，即整個模型層正在逐漸商品化，Llama 讓很多人可以以非常低的成本構建模型。
所以一開始，我們有很多模型公司，比如 Character、Inflection、Cohere、Mistral 等等。很多人質疑這些公司是否能夠達到經濟引擎的「逃逸速度」，繼續爲下一代模型提供資金。我的感覺是，這也是爲什麽我們看到市場的整合，對吧？
顯然，OpenAI 已經達到了那個「逃逸速度」，他們可以爲自己的未來融資。但對我來說，不清楚的是，很多其他公司能否做到這一點。這是否是對模型層現狀的一個公平概述？就像我們在其他許多市場中看到的一樣，市場領導者會有一個經濟引擎和應用來讓他們繼續投資。
黃仁勳：首先，模型和人工智能之間有一個根本區别，對吧？模型是人工智能的一個必要但不足的組成部分，對吧？人工智能是一種能力，但爲了什麽？應用是什麽？
自動駕駛汽車的人工智能與人形機器人的人工智能有關，但它們并不相同。它們與聊天機器人的人工智能有關，但也不相同，對吧？所以你需要理解這個棧的分類。在棧的每一層都會有機會，但并不是每一層都有無限的機會。
我剛剛說了一些話，你所需要做的就是把「模型」一詞替換爲「GPU」。事實上，這是我們公司 32 年前的重大發現——GPU 圖形芯片與加速計算之間有一個根本區别。加速計算與我們在 AI 基礎設施中所做的工作不同，雖然相關，但并不完全相同。它們是建立在彼此之上的，但并不完全相同。每一層抽象都需要完全不同的技能。
一個非常擅長構建 GPU 的人，可能完全不知道如何成爲一家加速計算公司。有很多人在構建 GPU，而我們發明了 GPU，但今天并不是隻有我們一家在制造 GPU，對吧？世界上有很多 GPU，但并不是所有的公司都是加速計算公司。而且有很多加速器應用程序，但這與加速計算公司不同。例如，一個非常專門的 AI 應用程序可能會非常成功。
Brad Gerstner：這就是MTIA。
黃仁勳：沒錯，但它可能不會成爲一個具有廣泛影響力和能力的公司。所以你必須決定你想處于哪個位置。在這些不同的領域可能都有機會，但就像建立公司一樣，你必須注意生态系統的變化，以及哪些東西随着時間推移被商品化，分清楚什麽是功能、什麽是産品、什麽是公司，這是一定的。好吧，我剛剛談到了很多不同的思路。
Brad Gerstner：當然，還有一個新加入者擁有資金、聰明才智和雄心，那就是 X.AI，對吧？外界有報道稱，你和Larry 以及 Elon 共進了晚餐。他們說服你放棄了 10 萬個 H100s，他們去了孟菲斯，在幾個月内建立了一個大型的超級計算集群。
黃仁勳：首先三個點不在一條線上，我和他們共進了晚餐，因果關系僅僅就是這樣。
Brad Gerstner：你怎麽看他們構建超級計算集群的能力？外界還在讨論他們想要再增加 10 萬個 H200s 來擴展這個超級集群的規模。
首先，和我們談談 X 公司的雄心壯志以及他們已經取得的成就。同時，我們是否已經進入了 20 萬或 30 萬個 GPU 集群的時代？
黃仁勳：答案是肯定的。首先要承認他們的成就是應得的。從概念階段到數據中心的建成，并準備好讓英偉達的設備進駐，到我們供電、連接設備并進行首次訓練，這一過程。
首先，建造這樣一個龐大的工廠，采用液冷技術、完成能源供應、獲得許可，并在這麽短的時間内完成。我是說，這簡直是超人的成就。就我所知，全世界隻有一個人能做到這一點，埃隆·馬斯克在工程、建築、大型系統和資源調配方面的理解是獨一無二的，簡直難以置信。
當然，他的工程團隊也非常出色，軟件團隊、網絡團隊、基礎設施團隊都很棒。埃隆對此有着深入的理解。從我們決定啓動項目的那一刻起，我們的工程團隊、網絡團隊、基礎設施計算團隊、軟件團隊都進行了充分的準備。
然後，所有的基礎設施、物流以及當天進入的數據量和設備量，還有英偉達的基礎設施和計算技術，一切都在 19 天内完成了訓練。
你知道這意味着什麽嗎？有誰睡覺了嗎？24 小時不停地工作，毫無疑問，沒有人睡覺。首先，19 天的時間真是不可思議，但如果退一步思考，這隻是短短幾周。你能看到的技術設備數量簡直令人難以置信。
所有的布線和網絡連接，與英偉達設備的網絡連接與超大規模數據中心的網絡連接完全不同。一個節點上的電線數量，計算機背部全都是電線。僅僅是把這座技術高峰整合起來，再加上所有的軟件，簡直難以置信。
所以我認爲埃隆和他的團隊所做的事情非常了不起，我也很感激他認可我們在工程和規劃方面與他們的合作。但他們所取得的成就是獨一無二的，前所未有。
爲了讓你更好地理解，10 萬個 GPU，毫無疑問，這是地球上速度最快的超級計算機。這隻是一個集群。通常你建造一台超級計算機需要三年時間來規劃，對吧？然後交付設備并花一年時間讓它全部運行起來。而我們在談論的是 19 天。
▲ChatGPT 所引發的 AI 覺醒是不可思議的（圖源：artnet）
推理将迎來爆炸式增長
Clark Tang：英偉達平台的優勢是什麽呢？它的整個流程都已經經過強化，對吧？
黃仁勳：是的，一切都已經在運行。當然，還有一大堆 X 算法、X 框架和 X 堆棧，我們還需要進行大量的集成。但它的前期規劃非常出色，僅僅是預規劃就已經令人印象深刻了。
Brad Gerstner：Elon 是獨一無二的存在，但你剛剛回答時提到，20 萬到 30 萬個 GPU 集群已經存在了，對吧？它能擴展到 50 萬個嗎？它能擴展到 100 萬個嗎？你們産品的需求是否取決于這些集群能否擴展到百萬級？
黃仁勳：最後一個問題的答案是否定的。我的看法是，分布式訓練必須起作用，我認爲分布式計算将會被發明出來，某種形式的聯邦學習和分布式、異步計算将會被發現。我對此非常有信心，也非常樂觀。
當然，需要意識到的是，過去的擴展法則主要是關于預訓練。現在我們已經進入了多模态，我們開始了合成數據生成。後訓練階段的擴展變得非常快，合成數據生成、獎勵系統、基于強化學習的訓練都發展迅速。現在推理階段的擴展也達到了極限。
這個想法是，在模型回答問題之前，它已經進行了 10000 次内部推理，這可能并不誇張。它可能已經進行了樹搜索，可能已經基于這個問題進行了強化學習，可能進行了某種模拟，肯定進行了大量反思，可能查閱了一些數據和信息，對吧？所以它的上下文可能相當龐大。
我想，這種智能就是我們正在做的，不是嗎？這就是我們正在做的。所以，如果你對這種擴展進行計算，将模型規模和計算規模每年擴展 4 倍，再加上使用需求不斷增長……
我們是否認爲我們需要數百萬個 GPU？毫無疑問，是的。這是目前的一個确定性問題。那麽問題是，我們如何從數據中心的角度來架構它？這在很大程度上取決于數據中心是一次性達到千兆瓦級，還是每次 250 兆瓦？我的看法是，這兩種情況都會出現。
Clark Tang：我覺得分析師總是關注當前的架構選擇，但我認爲從這次對話中最大的收獲之一就是，你們是在思考整個生态系統，以及未來多年的發展。
因此，英偉達擴展規模，不論是縱向還是橫向擴展，都是爲了應對未來，而不是僅僅依賴一個有 50 萬或 100 萬個 GPU 集群的世界。到分布式訓練真正到來時，你們已經編寫了支持它的軟件。
黃仁勳：沒錯，記住我們和合作夥伴在大約七年前開發的 Megatron。如果沒有它，這些大規模訓練任務的擴展是不可能的。我們發明了 Megatron，我們發明了 Nickel、GPU Direct，還有我們通過 RDMA 所做的所有工作，這使得流水線并行處理變得更加容易。
所有的模型并行處理，所有分布式訓練的分解、批處理等所有這些技術，都是因爲我們做了早期的工作，現在我們也在爲未來的下一代技術做準備。
Brad Gerstner：那麽我們來談談 Strawberry 和 o1 吧。
首先，我覺得他們把 o1 命名爲 o1 簽證是很酷的，對吧？o1 簽證是爲了吸引全球最優秀、最聰明的人才來到美國，我知道我們都對此深有熱情。
我非常喜歡這個想法，建造一個能思考、推動我們走向智能擴展新高度的模型，向那些通過移民來到美國的天才緻敬，正是他們成就了今天的我們。
黃仁勳：肯定是一種外星智能。
Brad Gerstner：當然，這個項目是由我們的朋友 Noah Brown 領導的，他曾參與 Pluribus 和 Cicero 的工作，都是 Meta 的項目。推理時間推理作爲一個完全新的智能擴展維度，與僅僅構建更大模型的方式截然不同，這有多重要？
黃仁勳：這非常重要，極其重要。很多智能無法預先完成，你知道嗎？甚至很多計算都不能預先重新排序。亂序執行可以提前完成，但很多事情隻能在運行時完成。
所以無論是從計算機科學的角度來看，還是從智能的角度來看，很多東西都需要上下文和情境，你所尋找的答案類型有時簡單的快速答案已經足夠了，而答案的後果取決于你使用這個答案的性質。
所以有些答案可以花一個晚上思考，有些答案可能需要一周的時間，對吧？我完全可以想象，我給我的 AI 發送一個提示詞，告訴它，想一晚上，不要立刻告訴我，對吧？我想讓你整晚思考，然後明天早上告訴我你最好的答案，并爲我推理分析。
因此，我認爲智能的分層，從産品角度來看，會有一次性的版本，也會有一些需要五分鍾來完成的。
Brad Gerstner：這個智能層能夠将這些問題與合适的模型和使用場景相匹配。昨晚我們在使用先進的語音模式和 o1 預覽版，我正在輔導我兒子的 AP 曆史考試，感覺就像世界上最好的 AP 曆史老師坐在你旁邊一起思考這些問題，真是非凡的體驗。
黃仁勳：我的導師現在是 AI。
Brad Gerstner：當然，他們今天已經存在了。這也回到了這個話題，你知道，你們今天有超過 40% 的收入來自推理。但推理将因爲「推理鏈」而迎來爆炸式增長，對吧？
黃仁勳：推理的增長将會是十億倍的。
Brad Gerstner：翻倍，再翻十億倍。
黃仁勳：對。這是大多數人還沒有完全理解的部分。這正是我們之前談論的行業變革，這是工業革命。
Brad Gerstner：這是智能的生産，對吧？
黃仁勳：它将增長十億倍。
Brad Gerstner：大家都高度關注英偉達，認爲它主要是用于更大模型的訓練。是不是這樣，如果你們今天的收入有 50% 來自訓練，那麽未來推理的規模将遠遠超過訓練。訓練固然重要，但推理的增長将會遠超訓練的增長，我們希望如此，幾乎不可能有其他情況。
黃仁勳：我們希望如此，是的，上學是好事，但最終目标是你能在社會中有所貢獻。所以訓練這些模型是好的，但最終目标是要讓它們産生影響。
Brad Gerstner：你們是否已經在使用「推理鏈」和類似 o1 的工具來改進你們自己的業務？
黃仁勳：我們今天的網絡安全系統離不開我們自己的智能體。我們有智能體幫助設計芯片，如果沒有這些智能體，Hopper 芯片就不可能實現，Blackwell 也不可能實現，Rubin 就更不用說了。
我們有 AI 芯片設計師、AI 軟件工程師、AI 驗證工程師，而且我們都是在公司内部開發的，因爲我們有這個能力，我們更願意利用這個機會自己探索這項技術。
▲推理的增長将會是十億倍的（圖源：NVIDIA）
我們需要更高效，更安全的 AI
Brad Gerstner：你知道，今天我走進這棟樓時，有人走過來對我說，你知道，問問 Jensen 關于文化的事情，一切都與文化有關。我看着你們的業務，我們談了很多關于适應性和效率的事情，扁平化的組織結構可以快速執行，小團隊運作。
你知道，英偉達在這個領域獨樹一幟，每位員工平均創造了大約 400 萬美元的收入，每位員工大約創造了 200 萬美元的利潤或自由現金流。你們建立了一種效率文化，真正釋放了創造力、創新力、責任感和主人翁意識，你打破了傳統的職能管理模式。大家都喜歡談論你有多少直接彙報的員工。
AI 的利用是否是讓你們在保持高度創造力的同時保持高效的關鍵？
黃仁勳：毫無疑問。我希望有一天，英偉達今天有 32000 名員工，我們在以色列有 4000 個家庭，我希望他們一切安好。我希望有一天英偉達會成爲一個擁有 50000 名員工和 1 億個 AI 助手的公司。
在每個團隊中，我們都會有一個 AI 目錄，裏面有一批擅長做各種事情的 AI。我們還會有一個收件箱，裏面充滿了我們合作過并且知道很擅長我們技能領域的 AI 目錄。因此，AI 會招募其他 AI 來解決問題。AI 也會在 Slack 頻道中互相交流。
Brad Gerstner：并且與人類一起合作。
黃仁勳：和人類一起合作。所以我們将會是一個龐大的員工群體，一部分是數字化和 AI，一部分是生物學上的人類員工，我希望未來還有一些是機電一體化的員工。
Brad Gerstner：從商業角度來看，我認爲這常常被誤解。你剛剛描述了一家公司，它的産出相當于擁有 15 萬員工的公司，但實際上你隻用了 5 萬員工。你并沒有說你要裁掉所有員工，你仍在增加員工數量，但這家公司的産出将會顯著增加，對吧？
黃仁勳：這是經常被誤解的地方。AI 不會取代工作，它将改變每一個工作。AI 将對人們如何看待工作産生深遠影響，這一點我們必須承認，對吧？
AI 有可能帶來巨大的好處，也有可能造成傷害，我們必須構建安全的 AI，沒錯，這一點必須作爲基礎。但是被忽視的部分是，當公司利用人工智能提高生産力時，它很可能會帶來更好的收益或更好的增長，或者兩者兼而有之。而當這發生時，CEO 的下一封郵件不太可能是裁員通知。
Brad Gerstner：當然，因爲公司在增長。
黃仁勳：是的，原因是我們有比我們能夠探索的更多的想法，我們需要人們來幫助我們思考，然後再去自動化這些想法。而自動化的部分，AI 可以幫助我們實現。
顯然，它也會幫助我們進行思考，但我們仍然需要去弄清楚我們想要解決什麽問題。我們可以解決無數的問題，但公司必須選擇那些最需要解決的問題，然後找到一種方式來實現自動化并擴大規模。
因此，随着我們變得更高效，我們将會雇傭更多的人。人們常常忘記這一點。如果回顧曆史，顯然我們今天有比 200 年前更多的想法。這也是 GDP 和就業增長的原因，盡管我們一直在瘋狂地進行自動化。
Brad Gerstner：這正是我們進入這一時期的重要點，幾乎所有的人類生産力和繁榮都是過去 200 年技術和自動化的副産品。你可以回顧一下，從亞當·斯密到熊彼特的創造性破壞，過去 200 年人均 GDP 的增長圖表，它不斷加速發展。這讓我想到一個問題。
如果你看 90 年代，美國的生産力增長率大約是每年 2.5% 到 3%。然後到了 2000 年代，它放緩到大約 1.8%。而過去十年，是記錄上生産力增長最慢的時期。這指的是我們在固定的勞動力和資本投入下的産出增長，是我們有記錄以來最慢的。
許多人對此進行了讨論。但如果世界如你所描述的那樣，并且我們将利用和制造智能，那麽我們是否正處于人類生産力即将出現巨大擴展的邊緣？
黃仁勳：這是我們的希望。這是我們的希望，當然，你知道，我們生活在這個世界中，因此我們有直接的證據，對吧？我們有直接的證據，比如個别研究人員利用 AI，現在可以在前所未有的規模上探索科學，這就是生産力的體現。
或者我們設計出如此複雜的芯片，并以如此快的速度完成設計，而公司的員工規模并沒有以相同速度增長，這也是生産力的體現，對吧？我們開發的軟件也越來越好，因爲我們在利用 AI 和超級計算機幫助我們，而員工數量幾乎是線性增長的。
這又是一個生産力的證明。所以無論我深入到哪個行業，我都可以自我檢查，我可以親自驗證這些表現是否普遍存在。毫無疑問，智能是世界上最有價值的資源，而現在我們将大規模生産它。
我們都必須學會如何在周圍都是 AI 的環境中生活，這些 AI 能夠非常出色地完成任務，甚至比我們更好。當我反思這一點時，我發現這就是我的生活。
我有 60 個直接彙報的下屬，對吧？他們都是各自領域的世界級人才，做得比我好得多。我和他們合作沒有任何問題，我也沒有問題去指導他們、與他們溝通。因此，我認爲人們将要學到的是，他們都将成爲 AI 智能體的 CEO。
他們需要擁有創造力、決心，以及一些知識，知道如何分解問題，從而能夠編程這些 AI 來幫助他們達成目标，就像我管理公司一樣。
Brad Gerstner：你提到了一個問題，就是關于對齊、安全 AI 的讨論。你也提到了中東正在發生的悲劇。你知道，現在世界的不同地方都有很多自主性和 AI 的應用。
所以我們來談談不良行爲者、安全 AI，以及與華盛頓的協調問題。你現在的感受如何？我們是否走在正确的道路上？我們的協調是否足夠？我記得馬克·紮克伯格曾說，戰勝壞 AI 的方式是讓好 AI 變得更好。你會如何描述我們如何确保 AI 對人類有積極淨效益，而不是讓我們陷入一個無目的的反烏托邦世界？
黃仁勳：關于安全的讨論非常重要，也很有意義。抽象的觀點，即将 AI 視爲一個大型的神經網絡，這種看法就不太好。而原因是，我們知道，人工智能和大語言模型雖然相關，但并不相同。
現在有很多正在進行的工作，我認爲非常出色。第一，開放源代碼模型，使得每個行業、每家公司和整個研究界都能接觸到 AI，并學習如何利用這種能力來應用于他們的領域。非常好。
第二，AI 的發展技術力量正在專注于發明如何使 AI 更加安全。AI 被用來篩選數據、篩選信息、訓練其他 AI，創造出對齊的 AI，生成合成數據的 AI，擴展 AI 的知識，減少幻覺的 AI，以及所有被創造出來的用于矢量圖像、圖形等 AI，來告知和監控其他 AI 的系統，這些用于創建安全 AI 的 AI 系統還沒有得到足夠的認可。
Brad Gerstner：這些系統已經被構建出來了。
黃仁勳：對，我們正在建造這些系統，整個行業的所有人都在這樣做。包括紅隊測試、流程控制、模型卡、評估系統、基準系統等等，所有這些安全機制正在以驚人的速度被構建出來。這些努力還沒有得到應有的贊譽，你們懂的。
Brad Gerstner：是的，目前沒有任何政府法規要求你們這樣做。這是當前行業中的參與者們正在嚴肅對待這些關鍵問題，并圍繞最佳實踐進行協調。
黃仁勳：完全正确，這些努力沒有得到足夠的認可，也沒有被充分理解。人們需要開始讨論 AI 作爲一個由多種 AI組成的系統，以及它作爲一個經過良好工程設計的系統的本質。
關于監管，我們要記住，AI 是一種能力，它可以應用于很多領域。不一定需要爲每一項重要技術單獨立法，但是也不能讓監管過度擴展到不必要的領域。
大部分的監管應該針對具體的應用來進行，例如 FAA（聯邦航空管理局）、NIH（美國國立衛生研究院）、FDA（美國食品藥品監督管理局）等機構已經在管理技術應用了，現在他們需要開始管理包含 AI 的技術應用。
因此，不要誤解這一點，不要忽視我們将需要激活的現有大量監管體系。不要僅依賴一個全球 AI 委員會，因爲每個監管機構的設立都是有原因的。這些不同的監管機構存在的原因，就是爲了應對不同的挑戰。讓我們再次回到基本原則。
▲Clark Tang 在訪談中
AI 開源推動行業激活
Brad Gerstner：如果我不回到開放源代碼這個問題上，我的夥伴 Bill Gurley（編者注：本場訪談 Bill 缺席） 可能會責怪我。你們最近發布了一個非常重要、非常強大的開源模型。顯然，Meta 也在爲開源做出重大貢獻。
我在讀 Twitter 時發現，關于開放與封閉的讨論非常熱烈。你怎麽看待開源，尤其是你們自己的開源模型與前沿技術保持同步的能力？這是第一個問題。
第二個問題是，擁有開源模型以及爲商業運營提供動力的封閉模型，這是否是你們未來的願景？這兩者是否能爲 AI 安全創造一種健康的張力？
黃仁勳：開源與閉源的讨論與安全性有關，但不僅僅是關于安全性。例如，擁有閉源模型作爲經濟模型的引擎來維持創新，這是完全沒有問題的，我對此全心全意支持。
我認爲，将問題單純地定義爲閉源對抗開源是一種錯誤的思維方式。應該是閉源和開源，對吧？因爲開源對許多行業的激活是必要的。
如果現在沒有開源，所有這些不同的科學領域如何能夠在 AI 上激活？因爲他們必須開發自己的領域專屬 AI，并且他們需要利用開源模型來創建領域專屬 AI。這兩者是相關的，但并不相同。
僅僅因爲你有一個開源模型，并不意味着你就擁有了 AI。因此，你必須有開源模型來推動 AI 的創建。所以，金融服務、醫療保健、交通運輸，以及許多其他領域的科學和行業，都是因爲開源的推動而得以激活的。
Brad Gerstner：難以置信，你們的開源模型需求量很大吧？
黃仁勳：我們的開源模型？當然，Llama 的下載量，對吧？顯然，Mark（紮克伯格）和他的團隊所做的工作，令人難以置信，需求量爆棚，徹底激活了每個行業和每個科學領域。
我們創建 Nemotron 的原因是爲了合成數據生成。直覺上，認爲某個 AI 會一直循環生成數據來學習自己，聽起來似乎不太可靠。你能在那個無限循環裏轉多少圈，這值得懷疑。不過，我的心中有一個形象，就像把一個超級聰明的人關在一個軟包房裏，一個月後再出來，可能并不會變得更聰明。
但是，如果有兩三個人在一起讨論，我們有不同的 AI 模型，擁有不同的知識分布，能夠相互問答、來回交流，那麽我們三個人都會變得更聰明。所以 AI 模型之間相互交換、互動、來回讨論、辯論，進行強化學習和合成數據生成，這個想法直觀上是有意義的。
因此，我們的 Nemotron 350B、340B 是世界上最好的獎勵系統模型。它是最好的批評性模型，确實非常出色。所以，這是一個增強所有其他模型的奇妙工具，不論其他模型多麽優秀，我都建議使用 Nemotron 340B 來進行增強，讓它變得更好。而我們已經看到 Llama 變得更好，所有其他模型也因此受益。
▲Meta 在爲開源做出重大貢獻（圖源：Linkedin）
AI 是一場徹底的革命
Brad Gerstner：作爲在 2016 年交付首台 DGX-1 的人，這段旅程真的太不可思議了。你的旅程既不尋常又令人驚歎。你成功度過了最初的艱難時期，這本身就非同尋常。
你在 2016 年交付了第一台 DGX-1，我們在 2022 年迎來了這個「寒武紀時刻」。所以我想問一個我經常被問到的問題，那就是，你覺得你現在的工作狀态還能持續多久？
你有 60 個直接彙報的下屬，你無處不在，推動着這場革命。你享受這個過程嗎？有沒有其他你更想做的事情？
黃仁勳：你這是在問過去一個半小時的感受嗎？答案是：很棒。我度過了一段非常愉快的時光，完全無法想象還有什麽事情比這更值得我去做。
讓我想想，我不認爲應該讓人覺得我們的工作總是充滿樂趣。我的工作并非總是有趣的，我也不期望它總是有趣的。工作是否應該總是有趣？我認爲重要的是工作總是重要的。我不會太把自己當回事，但我非常認真對待工作。我非常認真地對待我們的責任，認真對待我們對社會的貢獻，以及我們所處的時代。
這總是有趣的嗎？不，但我是否總是熱愛它？是的，就像所有事情一樣，無論是家庭、朋友、孩子，是否總是充滿樂趣？不，但我們是否總是深深地愛着他們？絕對是。
我能做多久？真正的問題是，我能保持相關性多久？這個問題的答案隻有通過另一個問題來回答：我将如何繼續學習？今天我更加樂觀了，我并不是因爲我們今天的讨論而這麽說。因爲 AI 的出現，我對自己保持相關性和繼續學習的能力更加樂觀。我每天都在使用它。我不知道你們是否也使用，但我每天都在使用它。
沒有一項研究不涉及 AI，即使我知道答案，我也會用 AI 來核對。令人驚訝的是，接下來我問的兩三個問題，往往能揭示一些我不知道的事情。
你可以選擇你感興趣的主題，我認爲 AI 作爲導師、AI 作爲助手，AI 作爲一個可以一起頭腦風暴的夥伴，來檢查我的工作。夥計們，這真的是一場徹底的革命。而我是一名信息工作者，我的輸出是信息。
所以我認爲 AI 對社會的貢獻是非凡的。如果我能像這樣保持相關性，并繼續做出貢獻，我知道這份工作足夠重要，值得我繼續追求。而我的生活質量也是不可思議的。
Brad Gerstner：我無法想象，如果錯過這個時刻會怎樣。你我已經在這個行業工作了幾十年，而這是我們三十年來最重要的時刻。我們對這段合作深表感謝。
黃仁勳：不要錯過接下來的十年。
Brad Gerstner：非常感謝你們的思想交流，你讓我們變得更明智。謝謝你，我認爲你作爲領導者，在樂觀且安全地引領未來方面發揮了非常重要的作用。
黃仁勳：感謝你和我們在一起。我真的很享受，真的很感謝，感謝 Brad，感謝 Clark。
