劃重點
黃仁勳認爲，傳統面試過程并不總是判斷一個人是否适合的好方法，他更相信背景調查。
在解釋英偉達爲何放棄 Arm 而選擇收購 Mellanox 時，黃仁勳稱文化融合充滿了挑戰。
黃仁勳始終期待計算機能夠展現出智能行爲，并堅信軟件将讓算法以看似智能的方式解決問題。
爲了确保每一代産品都能實現性能飛躍，英偉達爲每個系統設計了六到七款全新芯片，并通過協同設計的方式，對整個系統進行徹底的革新。
黃仁勳自曝每天都使用 ChatGPT，并相信其推理能力将越來越強，而答案的質量卻會顯著提升。
黃仁勳的許多演講不僅篇幅冗長，而且内容極其專業精深，但他的表現通常很棒。對此，他坦言自己無暇排練，隻能硬着頭皮上。
在 Arm 攜手美國全國公共媒體（NPM）精心打造的定制化播客系列《Tech Unheard》的首秀中，英偉達首席執行官黃仁勳作爲特邀嘉賓接受了 Arm 首席執行官雷内 · 哈斯（Rene Haas）的獨家專訪。哈斯對黃仁勳贊譽有加，認爲他是一位名副其實的遠見卓識者。
訪談期間，哈斯與黃仁勳深入交流了後者的個人創業曆程、人工智能的未來前景，以及英偉達如何通過其獨特的持續創新精神與勃勃雄心，不斷推動技術邊界的拓展。此外，黃仁勳還闡述了如何重塑英偉達使其聚焦于系統芯片領域，并引領人工智能的工業革命的幕後故事，同時他還表達了對創新步伐能夠進一步加速的渴望。
《Tech Unheard》播客系列共計 12 集，哈斯将邀請行業領袖與政策制定者進行一對一的深度對話，分享他們的獨到見解、精彩故事以及對未來的展望。該系列自美國當地時間 2024 年 10 月 9 日起，每月播放一集，内容涵蓋從人工智能的未來展望到構建當今頂尖技術與運營企業所需的思維模式。
以下爲哈斯與黃仁勳對話全文：
01 如何招募合适的員工和高管？
哈斯：英偉達如今已發展得如此龐大，關于你們的招聘我一直很好奇的是，你們是如何在衆多候選人中識别出那些将在英偉達取得成功的人呢？畢竟，你們的公司文化獨特，行事風格也别具一格。
黃仁勳：說實話，我們在這方面并不總是能做得完美，這确實需要一些運氣。我認爲傳統的面試過程并不總是判斷一個人是否适合的好方法。畢竟，每個人都可以通過觀看 YouTube 上的面試技巧視頻來準備一場看似建設性的對話。當然，技術問題是可以提前準備的，甚至有人分享過英偉達的技術面試題。我們盡量讓面試顯得既嚴格又具有挑戰性，但說實話，這仍然很難準确評估一個人。因此，我的方法總是回到背景調查，我會去了解他們過去的工作經曆和表現。
我之所以這麽做，是因爲一個人可以制造一個好的瞬間，但很難長期隐藏自己的過去和真實能力。所以我認爲背景調查是一個很好的方法。我還會問一些深入的問題，然後觀察他們的推理過程和思維方式。但我認爲，英偉達之所以對很多人來說都很成功，一方面是因爲我們找到了優秀的人，另一方面更在于我們創造了條件，讓這些人在這裏能夠超越自我，發揮出比他們自認爲能做到的更好水平。這很大程度上取決于我們是否透明地解釋了英偉達的願景、戰略以及我們的工作方式。我一直很重視這件事，并爲此花了很多時間。我們公司一直以透明地解釋我們所面臨的挑戰、機遇以及我們正在執行的戰略而聞名。
我們的離職率很低，而且，這是一個非常多元化的環境，有很多背景各異的有趣的人，我們公司的人幾乎來自世界上所有偉大的公司。在公司内部，信息流動得非常順暢，特别是關于公司戰略的信息。我一直覺得奇怪的是，有些公司存在很多信息壁壘，員工需要知道很多信息才能參與決策。當然，人們不需要知道所有事情，但他們知道得越多，就越能夠代表公司做出明智的決策。所以我盡量保持透明，盡量讓人們擁有更多的權力和信息。
因此，我認爲英偉達是世界上最小的大型公司之一，這得益于我們員工不可思議的生産力。我們現在大約有 3 萬名員工，也許現在稍微多一點。他們每天都需要做出數百個決策。如果這 3 萬人在統計上都在朝着一個方向前進，即使他們做出的決策往往是模糊的，但都是出于公司的長期利益考慮，那麽這些決策很快就會累積起來産生巨大的正面影響。
哈斯：我一直感到驚訝的是，無論是通過精心挑選還是自然選擇，英偉達擁有那些對模糊性高度适應的高級領導者，并且這些領導者會深入到組織的各個層級，這一點至關重要。我想了解的是，這種情況是如何形成的？是不是随着公司的發展，你逐漸找到了一批與你的願景相契合的高管，從而形成了這樣的氛圍？因爲在英偉達，很多現在身處高層的管理者，在我還在這裏工作或他們還在這裏任職時，就完全接受你會四處尋找合适的人來解決問題的做法。
黃仁勳：首先，我并沒有特意去征求他們的意見。因爲對于顯而易見的事情，你不應該請求許可。英偉達從一開始就被定位爲一個全棧計算公司，我們的目标是制造 GPU、CPU 和網絡芯片，甚至包括交換機。同時，我們還要負責芯片架構和設計、系統軟件的開發、算法的創建，甚至是求解器的開發。
那麽，如何組織這樣一個既需要各部分協同工作，又需要分步驟構建的整體呢？我們的解決方案是，不設立組織壁壘，而是将組織視爲一個領導者可以培養人才、爲他們創造成功條件、提供服務、幫助他們排除障礙的平台。但關鍵在于，老闆需要堅守使命，這個使命要貫穿整個公司。
因此，它可以跨越系統、芯片、網絡芯片、軟件和算法等各個領域。通過這種組織方式，我們還實現了透明度，所有的壁壘都變得具有滲透性。當組織具有滲透性時，它往往會變得更好，因爲會有更多的人來幫助你批評它、證明它。所以，我喜歡這種滲透性，如果你願意的話，也可以稱之爲我們公司的開放性。我就喜歡一切都很透明，大家共同努力讓它變得更好。這與一切都被封閉在黑暗的壁壘中截然不同。
02 爲何放棄 Arm 選擇并購 Mellanox？
哈斯：英偉達曾差點收購了 Arm，但最終，你們選擇了收購 Mellanox，這不僅是一次戰略上令人矚目的收購，而且從執行層面看，對于一個注重滲透性的組織來說，這次收購似乎無縫銜接，進行得異常順利。你是如何做到這一點的？我是說，并購通常都很難，你是如何讓這次并購如此順暢的？
黃仁勳：确實，文化融合總是并購中的一大挑戰。但幸運的是，在 Mellanox 的管理團隊和英偉達以色列的管理團隊中，有多位我們的 E-staff（執行團隊）成員。我們涵蓋了架構、研發、軟件系統、芯片、網絡和交換機等多個領域，現在還加入了 NVLink 交換機業務。在合并後的短時間内，Mellanox 的産品組合迅速擴展了四倍，并且已經深度融入到我們業務的各個方面。回顧這次收購，你可以看到我們的願景是如何推動這一切的。我們意識到，計算單元不再僅僅是像 GPU 這樣的外設，而 Arm 在很大程度上幫助我們完成了向構建 SoC（系統級芯片）公司的轉型。你還記得 SoC 嗎？它基本上就是一台完整的計算機，而 GPU 隻是其中的一部分。在 SoC 中，你必須自己負責整個系統的啓動。因此，這促使英偉達從一家以算法爲核心的公司（這實際上是 GPU 公司的本質）轉變爲一家真正的計算公司。這是我們的首次嘗試，一開始并不容易，但現在我們已經能夠制造出令人驚歎的 SoC 産品。
接下來，我們的發展方向是構建系統。DGX-1 是我們的第一個系統級産品。事實上，我仍然對 SHIELD 情有獨鍾，那是我們的 Android TV 電腦，我非常喜歡它，因爲它是我們創造的第一個完整的英偉達系統。從 SHIELD 到 DGX-1，我們學到了很多。直到今天，我們仍然在維護 SHIELD 軟件的更新。
這正是英偉達向系統公司轉型的開始。人們有時會問我 DGX-1 是怎麽來的，它如何改變了一切。其實，DGX-1 隻是一個大型的 SHIELD。SHIELD 是用塑料做的，而 DGX-1 重達 600 磅（約 272 千克）。這種轉變對我們來說并不是什麽大問題，因爲我們已經有了制造系統的經驗。真正重要的是，我們現在能夠構建完整的系統。當我們收購 Mellanox 時，我們的主要想法是計算機将不再是單個節點，而是整個數據中心将成爲計算的單元。如果你沒有設計 GPU、CPU、網絡接口卡（NIC）、交換機以及所有的收發器，并且無法把它們連接在一起，從無到有地啓動整個系統，讓一切連接起來并運行起來，把工作負載分布到各個部分，那麽你就不會真正理解構建這些人工智能超級集群以及這一轉型的意義所在。
這個願景非常清晰，對于激勵兩支團隊來說至關重要。爲了激勵團隊，你必須有一個明确且令人振奮的願景。我們就有這樣的願景，而且它非常切實可行，因爲你可以親眼看到它就在眼前——超級集群以及從兩家公司獲得的所有設備。那個願景既清晰又鼓舞人心，我們必須讓它變得切實可行。作爲首席執行官，你們必須把抽象的事物具體化，然後我們開始着手構建它。此外，我還覺得 Mellanox 的企業文化非常出色，這也是我們并購能夠順利進行的重要原因之一。
哈斯：這種清晰度對于推動公司發展的确非常有幫助。再回到願景這個話題，當我講述公司故事時，我還注意到另一件事。比如 SHIELD 和早期的 CUDA 在石油和天然氣領域的應用，當時這些應用的終極形态或市場潛力并不明顯。
黃仁勳：确實，很多人并沒有意識到這些應用的潛力。事實上，那都是我們的初步嘗試。
哈斯：在當時，很難看出這些嘗試會演變成什麽真正的殺手級應用或最終形态，但你們展現出了令人難以置信的韌性和決心，在早期就去嘗試并測試各種想法，即使市場似乎還沒有準備好，或者應用場景還沒有被明确定義。你把這種能力歸功于什麽？是驚人的直覺嗎？還是預見未來的能力？
黃仁勳：英偉達的優勢在于我們身邊聚集了很多傑出人才，他們是世界上最優秀的計算機科學家、戰略家和商業人才。他們不僅個人能力出衆，更重要的是，他們沒有個人主義傾向，都渴望爲公司創造更大的價值。我認爲，我們的成功首先是從這一點開始的。其次，我們在直覺方面也很擅長。我們對于需要解決什麽問題，以及如何從現在走向我們想要成爲的公司，都有很好的直覺。因此，我們能夠準确地判斷出各種階段性目标。
當我們決定開發 SHIELD 時，很多人都不理解，認爲我們在浪費時間。但我告訴他們，我們總有一天會成爲一家系統公司。而 SHIELD 就是我們向這個目标邁進的第一步。所有這些系統都将連接到雲服務。爲什麽我們不先從最大的系統入手呢？爲什麽我們不首先開發這樣的系統呢？如果我們連這個都做不到，那更大的系統我們也做不出來。我們希望通過開發這樣的系統，讓公司學習到新的技能，去嘗試、去失敗，但又不至于傷筋動骨。這樣，我們才能爲未來的挑戰做好充分的準備。
03 創始人模式 VS 經理人模式
哈斯：你是否認爲，隻有創始人領導的公司才能像你剛才描述的那樣，既擁有清晰的願景，又具備持續明确前進方向的韌性呢？因爲最近關于創始人模式與經理人模式的讨論很多，而你作爲一位領導公司 30 年的創始人，已經取得了巨大的成功。但是，你所描述的這些，隻能由創始人領導的公司做到嗎？
黃仁勳：我并不這麽認爲。我覺得你在 Arm 就做得很好。你知道，每當我目睹你工作時，我的心中便充滿了無比的自豪感。我非常享受觀察你工作的過程，這總能帶給我極大的喜悅與驕傲。我深信，要想在工作上有所建樹，必須具備堅韌不拔的精神和堅定不移的毅力。我願将其形容爲曆經痛苦與磨難的洗禮。在諸多方面，你必須學會去适應這樣的現實：成功之路絕非坦途，而是布滿了痛苦與磨砺。它并非一系列成就的輕松累積，而是需要付出巨大的努力與堅持。
我當然希望一切都能發生，因爲這無疑會對你大有裨益。然而，回顧那些充滿挑戰的時刻，盡管當時我可能并未完全意識到從中學到了什麽，但它們确實使我變得更加堅強。我深知自己能夠克服一切困難，盡管在經曆時可能并不喜歡那種感覺。然而，當我回首往事，那些艱難的時刻恰恰是我成長的見證，也是你與公司最爲自豪的時刻，因爲我們共同挺過了那些難關。因此，我認爲我們的公司之所以強大，正是因爲我們擁有衆多這樣的勵志故事。在公司的每一個角落，都流傳着無數次曆經挫折卻最終取得非凡成就的動人故事。它們如同寶貴的财富，助力公司度過了一個又一個艱難時期。
04 期待計算機能夠展現出智能行爲
哈斯：我們都已經在這個行業中拼搏多年，關于人工智能的發展，我有種感覺，仿佛有些場景是我之前從未設想過的。我甚至覺得，這種轉變可能要到下一代才能完全體驗到。這種感覺就像是觸碰到了《星際迷航》中的未來邊界，就我的認知而言，我難以想象在人工智能如此廣泛應用的未來之後，還會有什麽新的變革。你對此有何看法？我們是否正在以驚人的速度推動行業的轉型，而這場轉型之後又會迎來什麽呢？眼前所發生的一切，真是令人難以置信。
黃仁勳：我一直都對計算機能夠展現出智能行爲抱有期待。我們有能力創造出如此卓越的軟件，我認爲我們終将編寫出那樣的軟件，讓算法以看似智能的方式解決問題，仿佛計算機真的擁有了智慧。然而，我從未預料到這會引發一場工業革命。我曾多次提及，如今的計算機行業已經超越了傳統範疇，它不再僅僅是一個工具或器具，而是成爲了一個全新的制造業。
在我與你交談的此刻，我的手機靜靜地躺在口袋裏，并未被使用；我的筆記本電腦也安靜地待在辦公室裏。大多數人的電腦也是如此，隻有在需要時才會被啓用。但與此不同的是，這個新的人工智能産業，即我們正在構建的産業，它們始終在運行。無論你是否在使用它們，它們都在不斷地處理數據、生成 Token，并在這一過程中産生智能。智能正在被大規模地制造出來。曾經，計算機隻是一個工具或器具，而現在，它已經成爲了一個工廠，一個能夠大量生産極具價值物品的制造業。這對我們的行業來說，無疑是一個全新的時代。這是前所未有的變革。計算機現在成爲了制造工具，是那些被稱爲 Token、特别是智能 Token 的驚人成果的創造者。這是一個非凡的觀念。因此，我認爲我們正站在一場新工業革命的起跑線上。
哈斯：計算機行業的發展步伐是否超越了你原先的預想？作爲這一領域最接近前沿的見證者，從 AlexNet 到 DGX-1 的每一次創新飛躍，你都親曆其中。自從我接手 Arm 以來，我們也在内部對此進行了深入的探索，發現其進步的速度遠遠超出了我兩年半前乃至一年前所能想象的範疇。那麽，對于你親身參與推動的這一切，你是否覺得它的發展比預期中還要迅猛？
黃仁勳：并非如此，我們實際上正在竭力加速其發展的步伐。我們的研發周期已經成功地縮短至一年，這一決策的背後，是源自于對這項技術擁有巨大發展潛力的深刻認識。而且，我們現今的努力已遠遠超越了單純制造芯片的範疇。我們深知，即便在最新的制程節點上，芯片的性能提升也僅僅是幾個百分點的量級，但這已是極爲不易的成就。那麽，我們如何确保每一代産品都能實現性能的顯著飛躍呢？答案是，我們爲每個系統設計了六到七款全新的芯片，并通過協同設計的方式，對整個系統進行徹底的革新，同時創造出諸如 NVLink 交換機和新型系統機架等革命性的發明。這些創新使得我們能夠在系統背部的主幹上，利用銅質導線将所有 GPU 緊密相連，從而實現了前所未有的大型封裝和 3D 封裝技術。
我們運用了多種先進的技術手段來實現這一目标。因此，我們得以在相同的能耗和成本約束下，每年提供兩到三倍的性能提升。這實際上意味着，我們每年都在以遠超摩爾定律的速度降低人工智能的成本。若将這種複利效應持續五年、六年乃至十年，我們将會見證智能成本以令人驚歎的速度下降。我們之所以如此全力以赴，是因爲我們堅信，現在正是所有人深刻認識到其價值的關鍵時刻。如果我們能夠大幅度地降低智能的成本，那麽我們就可以在諸如推理等需要時間的場景中實現更多的可能。
當你今天使用 ChatGPT 這個令人贊歎的服務時，我也每天都在使用它。今天早上我就體驗了它的魅力，你按下回車鍵，提示被迅速加載，随後它便生成了輸出。但在不遠的将來，它将通過叠代推理的方式尋找答案，或許還會采用樹搜索等複雜方法，甚至進行某種形式的叠代和反思，最終呈現出更加優質的輸出。在這個過程中，它可能已經進行了上百次、上千次的推理，但答案的質量卻會顯著提升。我們渴望降低成本，以便在保持原有成本和響應速度的同時，提供這種新型、高效的推理推斷服務。
哈斯：我曾親眼目睹 OpenAI 模型的演示，其推理能力着實令人震撼，正如你所描述的那樣。它仿佛經曆了一棵邏輯樹的探索，展現出與人類相似的權衡過程，但其速度卻遠超人類。然而，當我深入思考當前正在發生的變革時，我深感着迷。正如你所言，你正在以前所未有的速度引入全新的系統、數據集以及基礎設施。過去，人們每兩三年購買的 CPU 最終都會面臨貶值。而現在，你卻以每年一次的頻率構建新的系統。人們迫切希望盡快采購并部署這些系統。
黃仁勳：雖然說起來簡單，但我們每年都在交付像這個房間一樣龐大的新型計算機，包括所有的布線、網絡、交換機和軟件。這确實令人難以置信。
哈斯：你明白我的意思嗎？我并不是在讓你預測未來。這更多是一個關于技術普及的問題。它能否保持當前的發展速度繼續前行？
黃仁勳：我認爲可以。但這必須以一種系統化的方式進行，也就是說，我們所做的每一項工作，都是基于一種架構思維。這意味着，爲昨天的集群（例如 Hopper）開發的軟件，将能夠無縫地在 Blackwell 和 Rubin 上運行。同樣，爲 Rubin 創建的軟件，也将能夠在 Hopper 上運行。這種架構兼容性至關重要，因爲行業在軟件上的投資遠超硬件，甚至達到上千倍。更不用說，軟件具有永恒的生命力。一旦開發或發布了軟件，就必須在其整個生命周期内進行維護。CUDA 的理念并非爲了讓數百萬人學習編程，而是爲了讓數百萬個 GPU 能夠與之兼容。
因此，你在一個 GPU 上的投資，将能夠延續到所有其他 GPU 上，而你今天編寫的軟件，在明天将會變得更加出色。我們未來編寫的所有軟件都将在已安裝的基礎設施上運行。因此，首先，我們必須具備架構意識，并且對此保持高度的自律。其次，即使在系統層面，我們現在也極具架構意識。我們會采用新的技術來推動系統設計的發展，同時确保不會放棄你昨天所做的工作。例如，當我們首次進入數據中心業務時，一個超大規模數據中心的配電是每個機架 12 千瓦，而到了 Blackwell 時代，每個機架的配電已經達到了 120 千瓦。密度提升了十倍，這意味着數百萬美元的服務器被壓縮到了一個機架中。因此，所節省的金額、能源和空間都是難以估量的。
哈斯：我們的故事有着諸多相似之處。Arm 架構曆經 30 載，我們爲其傾注了數十年的心血軟件編寫，這一點有時并未得到人們的充分理解。
黃仁勳：對于每一塊 Arm 芯片，我們所做的每一項工作都備受關注。前幾天，我們剛展示了一些成果。有基準測試顯示，Grace 在每瓦性能上比全球頂尖的 CPU 高出四倍，這凸顯了能源效率的重要性，它無處不在，至關重要。
哈斯：當你從 500 兆瓦的數據中心規模擴展到 5 吉瓦時，從網絡延遲等相關因素考慮，你是否觀察到某些架構層面的問題開始浮現？當然，我們無需深入探讨具體技術細節，但從物理學的基本原理出發，你是否發現了一些開始不再适用的東西？
黃仁勳：确實，一切都會失效，因爲物理定律是鐵律，無法違背，而失效是必然的過程。當然，我們正沿着功率密度曲線迅速攀升，增長态勢呈指數級。從 12 千瓦到 40 千瓦，再到 120 千瓦、200 千瓦，甚至更高，我們不斷壓縮、密集化計算資源。在此過程中，液冷技術的效率顯著提升。同時，我們盡可能延長銅線的使用壽命，因爲隻要條件允許，使用銅線傳輸電力就更爲有利，無需在電信号和光信号之間轉換。盡管最終我們不得不轉向光學技術，但我們會盡可能長時間地利用電信号的優勢。在大多數數據中心中，使用電信号在成本效益、能源效率和可靠性方面更具優勢。因此，我們選擇了密集化策略。密集化的另一個顯著優勢是，特定機架或相鄰機架中的所有 GPU 可以作爲一個巨型 GPU 協同工作，這确實令人驚歎不已。
05 沒時間練習演講，隻能硬着頭皮上
哈斯：我一直很好奇，記得你在 Computex 的演講内容之豐富簡直令人歎爲觀止，尤其是我觀看的時候還是周日晚上。作爲另一個經常做演講但無論是深度還是長度都遠不及你的人，我很想知道你是如何做到這一點的。你是否進行了大量的排練？我記得我們以前共事時，有時甚至在演講前一晚你還在調整内容，但你總是能出色地完成演講。現在，你的演講内容之深入，特别是當涉及到數據中心架構的詳細闡述時，你的準備過程是怎樣的？
黃仁勳：其實，我們每天都在爲這樣的演講做準備。你知道嗎，我們的工作有一個獨特的優勢，那就是我們不是專業的演員。所以，這些内容真的是我們日常工作的真實反映。我們每天都沉浸在這些領域裏。首先，我們每天都在學習和準備。但很多時候，我們做的事情，坦白說，都是在教學。爲了推動一個行業的發展，爲了塑造市場，并引入我們正在探索的新理念，其中很多都涉及到教學的成分。這不是在做廣告，你明白嗎？我們是一家平台公司，這意味着我們不能單打獨鬥。我們需要其他人的合作與支持。所以，我們的工作就是教學、啓發、展示，也許還有演示，希望越來越多的人能夠相信 CUDA，相信英偉達在加速計算領域的實力，今天就能加入我們的行列，共同推動人工智能的發展。我們現在正在研究的下一個重大項目是物理 AI，以及我們如何讓人工智能一方面學習遵守物理定律，另一方面又能深入理解這些定律。我認爲這将是一個漫長的旅程。所以，GTC 和 Computex 這樣的活動對我們來說，都是進行這些工作的重要機會，慶祝我們的生态系統以及合作夥伴所取得的成就，向他們傳授我們的理念，激勵他們展望未來。
哈斯：這确實很相似。當我做 QBU 演講時，我的首席助理會說：" 哇，這些幻燈片好簡潔啊！" 但其實這就是我整天都在談論的内容。我在想，怎麽可能不這樣呢？
黃仁勳：說實話，這仍然很有挑戰性。因爲我們沒有專門的時間去排練。所以，這并不是因爲我們故意不排練，等到我們把所有的内容都準備好之後，通常就沒有多餘的時間去排練了。因此，最後我隻能硬着頭皮上。（騰訊科技特約編譯金鹿）
