奧特曼：認爲自己比 o1 更聰明的請舉手。
（台下一些人舉手）
奧特曼：到了o2你們還會這麽想麽？
（汗流浃背了）
這一幕，剛剛在OpenAI 開發者日最後一個環節——奧特曼爐邊談話中上演。
對話由奧特曼和 OpenAI首席産品官 Kevin Weil進行，奧特曼還對未來作出如下判斷：
無限上下文長度将在十年内發生
o1 正在推動智能體應用，人們将要求 AI 在一小時内完成以前人類數月或數年的工作
然後每個人将擁有 10 個智能體，再然後擁有 1000 個
擔心科幻（Sci-fi）是我們最重要的事之一
除此之外，活動上宣布了 OpenAI API 大量重磅更新：
實時語音 API：每個 APP 裏都可以擁有 "Her"
視覺微調 API：隻需 100 張圖提升 GPT-4o 特定任務圖像理解能力
自動提示詞緩存：模型見過的 token 統統打 5 折
模型蒸餾 API：用前沿模型的輸出微調 GPT-4o mini
圍繞這些功能的精彩現場演示，也引起衆人圍觀。
比如GPT-4o 驅動的實時語音 API， 配合函數調用 +Twillio（雲通訊服務），可以直接打電話訂外賣了。
訂購 400 個草莓裹巧克力醬甜點，參會者人人都有的吃。
看起來演示現場是 OpenAI 員工在台上扮演食品店員工，真正的訂購過程是在幕後完成。
沒過一會，還有人曬會場外草莓快被領完了。
最新發布的推理大模型 o1 也露了一手，從頭編程操控無人機，現場蕪湖起飛。
這邊大會辦得熱鬧，與 OpenAI 相關的周邊消息也不斷傳出：
剛剛離職的幾位中，前研究 VP Barret Zoph 已決定要成立一家新公司。
前 CTO Mira Murati還沒宣布下一步要幹什麽，但投資人開始圍追堵截她，希望她盡快成立自己的公司。
還有一位此前已離職的 OpenAI聯合創始人 Durk Kingma，宣布加入隔壁 Anthropic。
OpenAI 開發者日
與去年相比，今年的 OpenAI 開發者日活動不再現場直播，并拆分成三部分在不同地點舉辦（美國、英國、新加坡）。
剛剛在舊金山舉辦的第一場，宣布了多項 API 更新。
Realtime API
實時語音 API 爲公開測試版，所有開發者都能在自己的 APP 中構建與 ChatGPT 高級語音模式類似的體驗。
價格也不貴，每分鍾音頻輸入約 0.06 美元，每分鍾音頻輸出約 0.24 美元。
語言學習應用 Speak已使用 Realtime API 開發 AI 角色扮演練口語功能。
此外還在 Chat Completions API 中增加了音頻輸入和輸出，可以用在對時延要求不高的地方，将在未來幾周内作爲 gpt-4o-audio-preview 發布。
視覺微調
開發者現在可以用圖像對 GPT-4o 微調，以提高視覺能力。
可以用來增強視覺搜索功能、改進自動駕駛汽車或智能城市的物體檢測以及更準确的醫學圖像分析等應用。
如外賣和共享出行公司 Grab，将車道計數的準确性提高 20%，将限速标志的定位提高 13%。
在 UI 設計上，微調過的 GPT-4o 生成的網頁區域也能更好匹配整個頁面的風格。
視覺微調的過程與文本微調類似，按照 OpenAI 指定的格式準備圖像數據集，然後将數據集上傳到 OpenAI 開發平台
隻需使用 100 張圖像就能提高 GPT-4o 在視覺任務中的性能，當然用的更多提升也能更大。
GPT-4o 的微調費用爲 $25/100 萬 tokens，微調後推理費用爲每 100 萬個輸入 tokens 3.75 美元，每 100 萬個輸出令牌 15 美元。
不過在2024 年 10 月 31 日之前，每天免費爲視覺微調提供 100 萬個訓練 token。
羊毛薅起來～
提示詞緩存
許多開發者在構建人工智能應用程序時，會在多個 API 調用中重複使用相同的上下文，例如在編輯代碼庫或與聊天機器人進行長時間、多輪對話時。
提示詞緩存功能可以在降低成本的同時降低推理延遲。
OpenAI 推出這個功能是比較晚的，此前谷歌 Gemini、Claude，以及國内 DeepSeek，Kimi 等都已上線。
不過 OpenAI 搞出來的特色在于：一切都是自動的。
從今天起，提示詞緩存已适配最新版本的 GPT-4o、GPT-4o mini、o1-preview 和 o1-mini，以及這些模型的微調版本。
隻要是 AI 見過的 token，自動統統打五折。
緩存将在閑置 5-10 分鍾後清除，最多保留 1 小時。
模型蒸餾
讓開發者可以用 o1-preive 和 GPT-4o 等前沿模型的輸出，對 GPT-4o mini 等小模型微調。
此前，模型蒸餾是一個多步驟、易出錯的過程，需要開發人員在互不關聯的工具中手動協調多個操作，從生成數據集到微調模型和評估性能。
由于蒸餾本質上是叠代的，需要反複運行每個步驟，大大增加了工作量和複雜性。
這次 OpenAI 推出了新的集成工作流程，可自動獲得前沿模型生成的輸入 - 輸出對、運行自定義評估、以及完成微調。
同樣在10 月 31 日之前，在 GPT-4o mini 上每天提供 200 萬個免費培訓 token，在 GPT-4o 上每天提供 100 萬個免費訓練 token。
離職高管被資本熱捧，聯創加入 Claude 團隊
OpenAI 持續發布新模型、新功能的壓力，讓 OpenAI 内部研究和安全團隊疲于奔命，難以跟上步伐。
此前已有消息證實 GPT-4o 發布前，團隊隻有 9 天時間做安全評估，每天工作 20 多個小時。
财富雜志最新消息表示，o1 發布前也遇到了同樣的情況，并且在公司高層之間引發了摩擦。
許多向前 CTO Mira Murati彙報工作的團隊都認爲 o1 還沒有做好發布的準備，還沒有真正形成産品，不過他們的反對意見被駁回了。
除了奧特曼之外唯一還在的聯創Woijceich Zarembra發聲，承認了在 o1 開發階段他和後訓練團隊負責人 Barret Zoph 發生激烈沖突，但沒有透露詳細細節。
現在後訓練團隊仍在繼續完善 o1，但 Barret Zoph 已經辭職了。
Barret Zoph 目前表示将成立一家新公司，但目前尚不清楚他具體會做什麽，也不清楚他是否會和 Murati 合作。
再看 Murati 這邊，她本人還沒有宣布下一步任何計劃，但投資人争相與她會面，希望她盡快創辦自己的公司。
據 Business Insider 消息，許多投資人正在試圖接近她，即使以前沒有聯系過的也會給她發冷郵件。
作爲去年 11 月奧特曼被短暫趕下台的餘波，OpenAI 高層持續動蕩，已經流失不少研究和管理人才。
與此同時，OpenAI 一直在瘋狂招聘，規模相比去年擴大了一倍多，員工人數從不到 800 人增加到 1800 人。
有老員工開始抱怨：新員工的湧入改變了 OpenAI 的氛圍和文化。
關于研究的對話少了，關于産品或向社會部署的對話多了。
離職的 OpenAI 研究人才中，有相當一部分去了隔壁 Anthropic。
聯合創始人 John Schulman、超級對齊負責人 Jan Leike 跳槽加入之後，Anthropic 又吸引來一位早年已經離職的 OpenAI 聯創Durk Kingma。
Durk Kingma 博士畢業于阿姆斯特丹大學，師從機器學習大牛 Max Welling。
兩人合作開發了變分自編碼器 VAE，相關論文于今年獲得 ICLR 首屆時間檢驗獎。
Durk Kingma 于 2018 年離開 OpenAI，做了一段時間天使投資人，後加入谷歌大腦，再後來被合并進了 Google DeepMind。
這次他加入 Anthropic 将主要在荷蘭遠程辦公，沒有透露他将具體加入哪個團隊或負責哪部分工作。
總之OpenAI 變得不像以前的自己，但隔壁 Anthropic 越來越像以前的 OpenAI 了。
還有人提出，如果去年 11 月奧特曼真的下台了，OpenAI 現在會不會更好呢？
健康的公司，有優秀的 CEO，不會用報酬威脅員工簽封口協議，也不會有高管辭職，更不會有那麽多醜聞。
OpenAI 發布
https://openai.com/index/introducing-the-realtime-api/
https://openai.com/index/introducing-vision-to-the-fine-tuning-api/
https://openai.com/index/api-prompt-caching/
https://openai.com/index/api-model-distillation/
參考鏈接：
[ 1 ] https://x.com/swyx/status/1841262588447146133
[ 2 ] https://x.com/GregKamradt/status/1841266096277696742
[ 3 ] https://x.com/dpkingma/status/1841134573595312344
[ 4 ] https://x.com/NickADobos/status/1841167978085433351
[ 5 ] https://x.com/dicnunz/status/1841176999773262031
[ 6 ] https://fortune.com/2024/10/01/openai-sam-altman-mira-murati-gpt-4o-o1-chatgpt-turbulent-year/
[ 7 ] https://www.businessinsider.com/mira-murati-exits-openai-venture-capitalist-startup-2024-9
