在今年的微軟 Build 大會上，微軟 CEO 納德拉在主旨演講裏的一連串發布引發各路媒體的持續讨論，但事實上在這場活動上，除了這些産品展示外，還有一場對話值得關注。
這就是 OpenAI 總裁 Greg Brockman 和微軟 CTO Kevin Scott 進行的現場對話。
Greg Brockman 是 ChatGPT 背後最核心的搭建者之一，Kevin Scott 則直接負責着 ChatGPT 和微軟的一系列工程整合工作。
像很多矽谷傳奇人物一樣，OpenAI 的另一位 " 父親 "Greg Brockman 也是一個名校退學生。他先後從哈佛和 MIT 退學，在創立 OpenAi 之前曾加入過支付軟件公司 Stripe。據稱，OpenAI 的創始團隊中大部分人才都是 Greg Brockman 拉攏來的，他本人也在團隊中領導過一系列研究項目。
而微軟 CTO Kevin Scott 也是一個對技術極有熱情的人，谷歌出道，加入領英臨危受命，幫助公司在 IPO 前夕順利完成平台增速擴容，最後成功上市，被譽爲 " 拯救了領英的工程師 "。微軟收購領英不久，他便被迅速提拔爲微軟 CTO。
在大多數人眼裏，Kevin Scott 和 Greg Brockman 這兩個在 AI 圈舉足輕重的人或多或少分别代表着 " 技術發展 " 和 " 應用平台 " 兩個維度。他們的對話也昭示着兩個維度的碰撞和共存，爲從業者帶來啓發的同時也影響着行業的未來。
這場對話也許才是關心 ChatGPT 背後技術思考和工程實踐的人們最不能錯過的。我們整理了這場對話實錄，供大家參考：
Kevin Scott：非常感謝你今天加入我們的 Build 大會。我想從 ChatGPT 的體驗開始，因爲它确實讓我們所有人都感到驚歎。ChatGPT 的應用是多麽令人興奮，人們對它的興趣也是如此之大，構建這樣的東西确實是一個巨大的工程挑戰。所以也許你可以和我們分享一下你對此的看法。
Greg Brockman：從基礎設施和各個方面來看，ChatGPT 都是一個非常有趣的過程。事實上，多年來我們一直在研究如何構建一個聊天系統的。我們之前還推出了一個名爲 Web GPT 的 demo，它是一個很有趣的 demo。我們找了幾百個測試者，真的是付錢讓他們使用這個系統。他們的反饋是：" 這個（Web GPT）有點用吧，還能編程。"
但對我而言，真正讓我眼前一亮的時刻是在我們擁有了 GPT-4 時。我們之前已經有了一套熟悉的流程，例如對于 GPT-3，我們隻是部署了基本模型，進行了預訓練，沒有進行任何方向上的微調。而在 GPT-3.5 時，我們開始讓它根據指令進行操作。我們給測試者一系列的步驟，讓他們按照這些步驟進行訓練。到了 GPT-4 時，我進行了一個小實驗，例如，如果在模型已經生成了一些内容之後再提供第二條指令，會發生什麽？這個模型給出了完美的響應，将之前生成的内容與新的指令融合在一起。
所以我認識到這個模型的強大之處，因爲它真的能夠總結出這樣一種思路：" 嗯，當你想讓我遵循指示，并給我一個新的指示時，也許你是想與我聊聊。"
對我而言，那是我 " 開竅 " 的時刻：好吧，我們有了這個基礎設施，它已經在早期模型中表現出色。這個模型雖然不是專爲聊天設計的，但它确實能夠進行聊天。所以這是一個真正的 " 啊哈！" 時刻。從那時起，我們就想，我們必須将這個東西推出去，這個東西是可以成就大事的。
Kevin Scott：是的，這确實讓我感到非常驚訝。我還記得當阿爾特曼給我打電話說，我們計劃發布 ChatGPT，預計需要幾周時間。我當時的想法是，爲什麽不呢？我當時沒有意識到這個技術在技術層面上會如此有效率，也沒有想到它會取得如此瘋狂的成功。我知道你是 GPT-4 的基礎設施的主要架構師之一，而 GPT-4 爲 ChatGPT 的發展提供了動力。對于在 AI 領域工作的每個人來說，這都是一種啓發。所以我想知道你是否可以分享一些有趣的事情。
Greg Brockman：在很大程度上，GPT-4 這個項目讓我們成爲 " 愛的勞工 "，很辛苦但很值得。實際上，在 GPT-3 之後，我們嘗試了多次超越該模型的性能，但都以失敗告終。這并不是一件容易的事情。我們最終決定回到原點，重新構建整個基礎設施。我們采取了許多方法，緻力于處理每個細節。
我相信即使現在，我們仍然可能會發現更多的錯誤。但項目負責人之一雅各布曾經做了一個很好的類比，他說這幾乎就像建造一枚火箭，你希望每個工程公差都盡可能小。例如，我們曾經遇到一個檢查點讀取的錯誤，如果你在錯誤的時間停止工作，當工作重新開始時，你可能會混合使用新權重和舊權重。這其實無傷大雅，因爲機器學習可以從中恢複。但每當你在圖表中看到一些奇怪的波動，你就會想知道是什麽原因造成了這種情況。所以，我會回頭重新審視每一個細節，這些看起來很乏味的工程工作是我的主要職責。
Kevin Scott：你所做的那些看似 " 無聊的工程工作 " 已經達到了一個令人難以置信的驚人規模。我确實認爲，這對于房間裏的每個人來說都是一個很好的啓發，有時候真正導緻成功的是那些看似平凡的基礎工作。
薩蒂亞 · 納德拉在他的演講中提到了我們正在開發的共享插件。這個想法是，我們将授權房間裏的每個人都能編寫軟件，以擴展 ChatGPT 的功能，以及我們正在構建的所有這些 Copilot。這也是一個有趣的技術挑戰，我們還沒有解決所有的技術問題，還有很多工作要做，才能使它達到我們最終的目标狀态。所以我很想知道你是否有一些想法想要分享。
Greg Brockman：我愛插件！我認爲這是一個非常棒的機會，對于每個開發人員來說，都可以利用這項技術，讓系統對每個人都更好，對吧？我們當時設計爲開放标準的部分原因是，作爲開發人員，你隻需構建一次，然後任何 AI 都可以使用它。這真是個好主意，不是嗎？
就像互聯網推動發展的主要因素一樣：你可以搭建一個網站，然後每個人都可以訪問它。然後你開放了一個 API，任何人都可以利用它。我認爲這種核心設計原則非常棒，它讓任何想要插入的人都能獲得系統功能，并且能夠将各個領域的擴展功能引入 ChatGPT 本身。
Kevin Scott：我真的很喜歡插件的一點就是它在概念上非常簡單。這讓我想起了我寫的第一個 HTTP 服務器。一旦你理解了核心概念，你就能夠快速構建出功能強大的東西。我覺得這是一件很棒的事情，所以在 OpenAI 的角色中，你一直在思考如何突破技術的極限。在我們的合作關系中真正令人驚奇的一點是，似乎因爲你們，我們能夠看得更遠了。所以我很想知道你是否可以分享一些讓你興奮的應用程序或模型。
Greg Brockman：對我來說同樣有趣的是，我們幾乎處于一個像英特爾早年間使用的 "Tick Tock 模型 "（注："Tick-Tock" 是 Intel 公司在 2007 年提出的一種戰略模式，用于發展微處理器芯片設計制造業務。該模式将處理器微架構和芯片制程的更新錯開，以提高效率。每個 "Tick" 代表一次微架構的芯片制程更新，旨在減小芯片面積、降低能耗和發熱量；每個 "Tock" 代表在上一個 "Tick" 的基礎上更新微處理器架構，提升性能。該模式的周期爲兩年，其中一年爲 "Tick"，另一年爲 "Tock"。）一樣的循環中，你會想出創新，然後真正推動它。
就像 GPT4 一樣，我們仍處于推動的早期階段，對吧？我們已經宣布了視覺能力，但仍在生産中。我相信這将改變這些系統的工作方式和感受，以及在其上構建的各種應用程序。因此，我對此感到非常興奮。回顧過去幾年的曆史，我想到兩年前我們把價格砍下了 70%。在過去一年中，我們又降價了 90%。這看起來非常瘋狂，不是嗎？我相信我們将能夠用新模型重複這樣的事情。現在，雖然 GPT4 價格昂貴且尚未完全可用，但我認爲這是将會改變的事情之一。
Kevin Scott：這也是我想留給在座各位的一件事：今天昂貴的東西明天不再昂貴，因爲技術進步是如此驚人。我們還有時間來談論最後一個話題——你已經爲這裏的開發人員提供了一系列非常好的建議，還有什麽想跟大家分享的嗎？
Greg Brockman：我認爲在這個領域，技術路線越來越清晰，技術也越來越出色。但我相信有一件事是每個開發人員都可以做到的，而即使像微軟這樣的大公司也很難實現，那就是真正深入某個特定領域，弄清楚如何讓這項技術在該領域發揮作用。因此，我非常欣賞那些在法律領域等領域工作的公司，他們獲取了專業知識，與許多律師交流，了解他們對這項技術的痛點。我相信每個人的努力都可以爲這項技術增添巨大的價值。
Kevin Scott：太棒了。正如 Greg 所說，你們都是讓 AI 變得偉大的人。Greg，非常感謝你今天與我們共度時光！
