5.29 日,OpenAI 的 CEO-Sam Altman 在一次采訪中,透露了 OpenAI 當下遇到的問題與未來 1-2 年内的發展計劃。
OpenAI 目前受到 GPU 算力限制
在采訪中,一個普遍的主題是 OpenAI 目前極其受到 GPU 算力的限制,這延遲了許多短期計劃的實現。最大的客戶抱怨是 API 的可靠性和速度,同時還不能向更多用戶推出更長的 32k 上下文,Sam 承認了他們的擔憂,并解釋說這個問題的大部分原因是由于 GPU 短缺造成的。
精調 API(更加個性化與專業化的)目前也受到 GPU 可用性的瓶頸限制。他們還沒有使用像适配器或 LoRa 這樣的高效微調方法,因此微調非常計算密集,需要耗費大量的計算資源來運行和管理,但更好的微調支持将來會出現。
當前的 OpenAI 提供 API 的分類與價格
GPT-4 的迅速版 750 個單詞約爲 0.03 美金(2 毛錢)
目前 OpenAI 的雲計算服務是由微軟的 Azure 雲來支持,突如其來的 Ai 熱潮,讓服務器長期處于滿負載的狀态,同時算力開始出現緊張,但伴随 NVIDIA 高性能服務器級别的算力卡,比如 H100/GXH200 等産品發布;應用,相信 GPU 算力在未來一段時間内可以逐漸被平衡。
專用容量提供也受到 GPU 算力的限制。OpenAI 還将向客戶提供專用容量,爲客戶提供模型的私有版本(如企業版)。要訪問此服務,客戶必須願意預付 100,000 美元(約合 68.7 萬人民币)
OpenAI 的近期路線圖
2023 年:
更便宜、更快的 GPT-4- 這是 OpenAI 的首要任務。總的來說,OpenAI 的目标是盡可能地降低 "Ai 的成本 ",因此他們将努力繼續随着時間的推移降低普通用戶與 API 使用的成本。
在未來,Ai 智能助手可能會伴随我們日常的工作生活的每一處丨 Midjourney
更長的上下文窗口 - 在不久的将來,高達 100 萬個字符的上下文窗口是可能的。(寫小說的時代來臨)
Midjourney
精調 API 将擴展到最新的模型,但具體形式将根據開發人員實際需要來确定。
有狀态的 API- 當調用聊天 API 時,必須不斷地通過相同的對話曆史記錄并不斷支付相同的标記。将來會有一個記住對話曆史的版本。
2024 年:
多模态(包含語音識别、圖像識别、視頻識别等)這是 GPT-4 發布的一部分,但在更多 GPU 算力上線之前無法擴展到所有用戶。
GPT-4 發布時提及的圖片識别能力,仍未開放
OpenAI 除了 ChatGPT 之外,不會發布更多的競争産品
相當多的開發者表示,當 OpenAI 可能會發布與他們競争的産品時,他們對使用 OpenAI API 進行構建感到緊張。Sam 說 OpenAI 除了 ChatGPT 之外,不會發布更多的競争産品。他說,有許多偉大的平台公司都有一個殺手級應用程序,而 ChatGPT 将允許他們成爲自己産品的客戶,從而使 API 更好。ChatGPT 的願景是成爲一個超級智能的工作助手,但還有許多其他 GPT 用例 OpenAI 不會涉及。
需要監管,但開源也很重要
盡管 Sam 呼籲對未來 Ai 模型進行監管,但他認爲現有模型并不危險,認爲監管或禁止它們将是一個巨大的錯誤。他重申了他對開源的重要性的信念,并表示 OpenAI 正在考慮開源 GPT-3。他們還沒有開源的部分原因是他對有多少個人和公司有能力托管和提供大型 LLM 持懷疑态度。 ( 擔心有人使用開源後的 GPT-3 幹壞事)
擴展定律仍然有效
OpenAI 的内部數據表明,模型性能的擴展定律仍然有效,而且使模型更大仍将産生更好的性能。但由于 OpenAI 在幾年内已經使模型變得大了數百萬倍,繼續保持這樣的擴展速度将不可持續。這并不意味着 OpenAI 不會繼續努力使模型更大,隻是表示它們可能每年隻會增加兩到三倍的大小,而不會呈幾個數量級的增長。