"AI 确實可能殺死人類。"
這話并非危言聳聽，而是 OpenAI CEO 奧特曼的最新觀點。
而這番觀點，是奧特曼在與 MIT 研究科學家 Lex Fridman 長達 2 小時的對話中透露。
不僅如此，奧特曼談及了近期圍繞 ChatGPT 産生的諸多問題，坦承就連 OpenAI 團隊，也根本沒搞懂它是如何" 進化 "的：
從 ChatGPT 開始，AI 出現了推理能力。但沒人能解讀這種能力出現的原因。
唯一的途徑是向 ChatGPT 提問，從它的回答中摸索它的思路。
針對馬斯克在推特上的 " 危險論 "，他直言：
馬斯克在我心中是英雄，我支持也理解他的擔憂。
雖然他在推特上挺混蛋的，但希望馬斯克能看到我們在解決 AGI 安全問題上付出了多大的努力。
除此之外，在這場對話過程中，奧特曼還提到了不少刁鑽的話題，例如：
ChatGPT、GPT-4 開發的内幕
GPT-4 是人類迄今所實現的最複雜的軟件
如何看待大家拿 ChatGPT 越獄
……
在看過這場對話之後，網友直呼：
兩位 AI 大佬用大家都能理解的方式聊 AI，多來點這樣的訪談。
那麽接下來，我們就來一同看下他們這場深度對話。
GPT-4 内幕大曝光
GPT-4 是這場對話中最受關注的部分。
它是如何訓練的？如何在訓練模型時避免浪費算力？如何解決 AI 回答不同價值觀的人的問題？
首先是訓練過程，依舊是預訓練 +RLHF，不過透露了一點具體細節。
GPT-4 早在去年夏天就已經訓練完成，後面一直在進行對齊工作，讓它表現得更符合人類需求。
相比預訓練數據集，RLHF 所用的數據非常少，但效果是決定性的。
對此，奧特曼透露了一點數據來源，包含一些開源數據集、以及合作商提供的部分數據集。
當然，數據集中也有一點 Reddit 論壇上出現的迷因梗（meme），但不是很多。對此奧特曼遺憾表示：
如果再多點，它的回答可能會更有趣。
即便如此，團隊甚至奧特曼自己依舊不能完全解讀 GPT-4。
目前對它的解讀方式，依舊是通過不斷問它問題，通過它的回答來判斷它的 " 思路 "。
而就在不斷測試中，OpenAI 發現從 ChatGPT 開始，GPT 系列出現了推理能力。
雖然 ChatGPT 絕大部分時候都被當做數據庫使用，但它确實也出現了一定的推理能力，至于這種能力具體如何出現的，目前卻無人能回答。
但大模型的訓練往往意味着大量算力需求。對此奧特曼再次提到了 OpenAI 獨特的訓練預測方法：
即便模型很大，團隊目前也有辦法隻通過部分訓練，預測整個模型的性能，就像是預測一名 1 歲的嬰兒能否通過 SAT 考試一樣。
關于這一點，在 GPT-4 論文和官方博客中也有更詳細介紹。
最後奧特曼承認，GPT-4 确實存在應對不同價值觀的人的問題。
臨時解決辦法就是把更改系統消息（system message）的權限開放給用戶，也就是 ChatGPT 中經常見到的那段 " 我隻是一個語言模型…… "。
通過改變系統消息，GPT-4 會更容易扮演其中規定的角色，比在對話中提出要求的重視程度更高，如規定 GPT-4 像蘇格拉底一樣說話，或者隻用 JSON 格式回答問題。
所以，對于 GPT 系列來說，誰最可能載入人工智能史冊？奧特曼倒不認爲是 GPT-4：
從可用性和 RLHF 來看，ChatGPT無疑是最具裏程碑的那一個，背後的模型沒有産品的實用性重要。
最會打太極的 CEO
GPT-4 論文中沒有透露參數規模、訓練數據集大小等更多細節，還被外界吐槽越來越不 Open 了。
在這次訪談中，面對主持人步步追問，奧特曼依舊守口如瓶。
GPT-4 預訓練數據集有多大？奧特曼隻是很籠統的介紹了有公開數據集、有來自合作夥伴的内容（如 GitHub 提供的代碼）還有來自網絡的内容。
活像 ChatGPT 也能寫出來的那種賽博八股文，隻有在談到 Reddit 的時候透露了網絡梗圖在訓練數據中占比不大，" 不然 ChatGPT 可能更有趣一些 "。
GPT-4 模型參數量有多大？奧特曼隻是說之前瘋傳的 100 萬億參數是謠言，然後又糊弄過去了。
我認爲人們被參數競賽所吸引，就像過去被 CPU 的主頻競賽所吸引一樣。現在人們不再關心手機處理器有多少赫茲了，關心的是這東西能爲你做什麽。
不過奧特曼對于一種說法是持有肯定态度——"GPT-4 是人類迄今所實現的最複雜的軟件 "。
但在主持人 Lex 突然抛出一些時下針對 GPT-4 的尖銳觀點時，奧特曼的應對也堪稱 "AI 般淡定 "（狗頭）。
例如，關于前段時間鬧得沸沸揚揚的GPT-4 越獄問題。
一名斯坦福教授僅僅用 30 分鍾，就誘導 GPT-4 制定出了越獄計劃，并全部展示了出來。
對此奧特曼表示，就如同當年 iPhone 也面臨被 " 黑 " 或者說越獄的問題（如當年免費的越獄版 App Store）一樣，這并非不能解決的事情。
奧特曼甚至坦承，他當年就把自己的第一台蘋果手機越獄了——甚至當時覺得這是個很酷的事情。
但現在已經沒有多少人去幹蘋果越獄的事情了，因爲不越獄也足夠好用了。
奧特曼表示，OpenAI 的應對思路同樣如此，即把功能做的足夠強，他甚至表示，願意在這方面給用戶開更多權限，以便了解他們到底想要什麽。
除此之外，Lex 還提到了馬斯克對于奧特曼的批評。
奧特曼雖然是當年被馬斯克一手提拔的人才，但如今馬斯克不僅退出了他們聯手創辦的 OpenAI，還對 OpenAI 現狀十分不滿，經常在推特上陰陽怪氣這家公司。
我捐 1 億美金成立的非營利組織怎麽就變成一個 300 億市值的營利性公司了呢？如果這是合法的，爲什麽其他人不這樣做？
作爲 OpenAI 現任 CEO，奧特曼并未直接回應此事，而是調侃了一下馬斯克在航天領域也經常被 " 老前輩 " 們批評的事情。
這一系列采訪問答，不禁讓人想到在 ChatGPT 發布後，奧特曼對于記者 " 将 ChatGPT 整合進微軟必應和 Office" 問題的回應方式：
你知道我不能對此發表評論。我知道你知道我不能對此發表評論。你知道我知道你知道我不能對此發表評論。
既然如此，爲什麽你還要問它呢？
GPT 的 " 偏見 " 不會消失
GPT 在叠代過程中 " 偏見 " 必然存在，它不可能保持完全中立。
在主持人提到關于 ChatGPT 以及 GPT-4 種存在的偏見問題時，奧特曼這樣回應道。
ChatGPT 在推出之初，就不是一個成熟的産品，它需要不斷叠代，而在叠代的過程中，僅僅依靠内部的力量是無法完成的。
" 提前 " 推出 ChatGPT 技術，是要借助外部世界的集體智慧和能力，同時也能讓全世界參與進 " 塑造 AI" 的過程中。
而不同人對于問題的看法也各不相同，所以在這個過程中，" 偏見 " 問題就不可避免。
甚至奧特曼在話裏話外也透露着：在 GPT 中，" 偏見 " 永遠不會消失。
他将外部參與建設 GPT 比作 " 公開領域建設的權衡 "。
GPT 生成答案是個性化控制的結果，叠代的過程則是更精準地控制 " 個性化 " 的過程。
有趣的是，期間奧特曼還暗戳戳 " 背刺 " 起了馬斯克的推特：
推特摧毀掉的多元性，我們正在将其找回來。
（嗯，奧特曼是懂一些話術的）
當然，談到 ChatGPT，總繞不開其背後的公司 OpenAI，在成立之初，它就立下了兩個 Flag：
1、非營利性
2、通用人工智能（AGI）
如今，已經過去八年之久，這兩個 Flag 也是發生了巨大的變化：AGI 的大旗還在高舉，而非營利性這面旗則已經搖搖欲墜。
對此，奧特曼也是分别作出了回應。
對于 OpenAI" 非營利性質 " 的逐漸削弱，奧特曼直言：很久之前，就已經意識到非營利性不是長久之計。
僅僅依靠非營利籌集到的資金對 OpenAI 的研究來說遠遠不夠，商業化是必然選擇。
但在之後奧特曼也試圖 " 找補 " 回一些，稱目前的商業化的程度僅止于滿足投資者與員工的固定回報，剩餘資金還是會流向非營利性組織。
提到 AGI，一開始在 OpenAI 聲稱要做通用人工智能時，還有一堆人在嘲諷，如今做出 GPT-4 這樣的産品，回過頭來再看，嘲諷的聲音已經越來越少了。
而面對外界詢問 "GPT-4 是 AGI 嗎 " 這樣的問題時，奧特曼則是直接給出了自己理解中的 AGI：
AGI 所掌握的知識應該是要超過人類科學知識總和的，并且具有創造性，能夠推動基礎科學的發展；
而目前所有 GPT 并不能做到這些，想要達到 AGI 還需要在目前 GPT 的範式上進行拓展，至于如何拓展，正是目前所缺乏的。
值得一提的是，談到 AGI 時，是奧特曼在訪談中鮮有的 " 兩眼放光 " 的時刻。
他抛出了一句極具 " 科研分子理想情懷 " 的金句：
也許 AGI 是永遠抵達不了的烏托邦，但這個過程會讓人類越來越強大。
但奧特曼并不否認過分強大的 AGI"可能殺死人類" 這一觀點：
我必須承認，（AI 殺死人類）有一定可能性。
很多關于 AI 安全和挑戰的預測被證明是錯誤的，我們必須正視這一點，并盡早嘗試找到解決問題的方法。
One More Thing
在談話最後，Lex Fridman 還試圖讓奧特曼講一些給年輕人們的建議，奧特曼直接來了個 " 反雞湯文學 "：
網絡上的 " 成功學 " 帖子太誘人，建議不要聽太多建議。
我就是無視建議做到現在這樣的。
參考鏈接：
https://www.youtube.com/watch?v=L_Guz73e6fw
