文 | 極客公園 GeekPark
不出預料，谷歌是被 OpenAI 狙擊了。
一連串煙霧彈後，昨天 OpenAI 用一個可以看到、聽到真實世界，并可以實時無延遲對話的 AI 智能助手「GPT-4o」震撼了世界。而把發布 4o 的時間點特别選在谷歌 I/O 大會開幕前一天，當時就有媒體預測，OpenAI 這是在狙擊谷歌。
果不其然，美國當地時間 14 日上午 10 點舉行的谷歌 I/O 大會主題演講上，雖然谷歌發布了一系列基于 Gemini 的「AI 全家桶」——包括升級 200 萬 tokens 上下文的 Gemini 1.5 Pro、新模型 Gemini 1.5 flash、類 Sora 的新視頻大模型 Veo，以及包括 AI 搜索、AI + Gmail 在内的多個 AI 應用。
但最受關注的，還是谷歌 DeepMind 負責人兼谷歌 AI 領導者 Demis Hassabis 口中，真正通向 AGI 的萬能助手項目——「Project Astra」。以及面向 Gemini Advanced 訂閱者新推出的語音聊天功能 Live，後者預計還将在年内加入相機功能，讓 AI 可以基于用戶所處的真實環境展開對話。
這兩個産品都有點像「GPT-4o」，但先不論三者的真實效果到底如何，從産品進展來看 OpenAI 已經領先一籌。不過這也不意味着 OpenAI 注定成爲最後的赢家，目前來看手機依然是這些超級智能助手最重要的硬件載體，掌握安卓系統的谷歌有着天然的優勢。從這個角度看，前段時間蘋果與 OpenAI 的合作傳聞，可能正是來源于二者對抗谷歌因而各取所需。
不論如何，具備「真實世界感知 Input」+「低延遲語音 Output」的超級智能助手，已經成爲下一階段 AI 公司軍備競賽的關鍵。接下來更多大模型公司、雲計算平台，甚至手機公司、AI 應用開發者都會卷入其中。
Project Astra ——實時視頻問答，發誓沒有造假
I/O 大會上，谷歌發了一段非常驚豔的 AI 助手演示視頻，這次還了發誓，沒有以任何方式僞造或篡改。
Demis Hassabis 說，Project Astra 是自己期待了幾十年的 AI 助手的雛形，是 AI 助手的未來。
Project Astra 是一個實時、多模式的人工智能助手，通過接收信息、記住它所看到的内容、處理該信息和理解上下文細節來與周圍的世界進行交互，它的語音交互比當前形式的 Google Assistant 更自然，沒有延遲或延遲，可以回答問題或幫助你做幾乎任何事情。
演示視頻中，用戶要求 Project Astra 在看到發出聲音的東西時告訴她，助手回答說，它可以看到一個發出聲音的揚聲器。
交互是實時語音進行的，且并沒有「嘿，Google、Gemini」等喚起詞，用戶問 Project Astra 視頻中顯示器上的代碼有什麽作用，Project Astra 沒有一絲延遲地進行了解釋。
Project Astra 記住了一閃而過的眼鏡 | 圖片來源：谷歌
Project Astra 關于視覺的處理甚至算整場發布會最大的亮點。「你記得我把眼睛放哪了嗎？」「你的眼鏡在桌子上的紅蘋果旁邊。」Project Astra 甚至通過鏡頭記住了一閃而過的眼鏡，并準确回答出在蘋果旁。這裏可能夾帶了一點「私貨」，這副眼鏡上或許也有 Project Astra。
從演示看，Project Astra 可以很快處理收到的信息，可以通過連續編碼視頻幀并将視頻和語音組合成事件時間線來做到這一點，然後緩存信息以供回憶。谷歌表示，其中一些功能将在今年晚些時候添加到 Gemini 應用程序和其他産品中。
Project Astra 給這個樂隊起名爲金色條紋 | 圖片來源：谷歌
谷歌稱 DeepMind 團隊還在研究如何最好地将多模态模型整合在一起，以及如何平衡超大型通用模型與更小、更集中的模型。
昨天剛發布 GPT-4o 的 OpenAI 最重大的突破也在多模态上，看下來似乎昨日重現。最大的一個區别在視覺處理上，是目前 GPT-4o 隻能處理靜态圖像，Astra 已經可以處理視頻。
Project Astra 背後的 Gemini 系列大模型能力也有更新。上個月舉辦的 Google Cloud Next 2024 大會上發布，發布的 Gemini 1.5 Pro，具有原生音頻理解、系統指令、JSON 模式等，可提供 100 萬長文本能力，宣布已經向全球開發者開放。
這次宣布推出的 Gemini 1.5 Flash 模型，解決了關鍵的成本問題。Gemini 1.5 Flash 介于 Gemini 1.5 Pro 和 Gemini 1.5 Nano 之間，主要面向開發者。會上詳細介紹了 Gemini 1.5 Pro 和 Flash 的定價。Gemini 1.5 Flash 的價格定爲每 100 萬個 token 35 美分，這比 GPT-4o 的每 100 萬個 token 5 美元的價格要便宜得多。
Gemini 1.5 Flash| 圖片來源：極客公園
谷歌還預告了接下來的動作，宣布今年晚些時候将模型的現有上下文窗口增加一倍，達到 200 萬個 token。這将使其能夠同時處理 2 小時的視頻、22 小時的音頻、超過 60,000 行代碼或超過 140 萬個單詞。
Gemini 1.5 Pro | 圖片來源：極客公園
谷歌去年 12 月發布的一個預錄演示遭到「造假」質疑，通過剪輯誤導人們高估 Gemini 的視頻處理能力，不過現在，這些能力都是真的了。
基于大模型的 AI 應用生态方面的進展
在這次 I/O 大會上，谷歌基于大模型的 AI 應用生态也有所升級，涵蓋搜索、照片、創作、工具以及工作應用等方方面面。
搜索是谷歌 25 年前的創世産品。在一年前，谷歌表示，搜索的未來是 AI。現在，谷歌搜索中的 AI 真的來了，主打一個——「讓谷歌幫你谷歌。」
谷歌首席執行官桑達爾 · 皮查伊（Sundar Pichai）在 I/O 大會上宣布，人工智能生成的搜索摘要，現在被稱爲「人工智能概述」，将在「本周」向美國的所有人推出，更多國家 / 地區即将推出。
相比從前，AI 搜索可以處理更複雜的問題。谷歌提供了一個例子，也許用戶在尋找一個新的瑜伽工作室，要求這個工作室既要在當地很受歡迎，也要方便通勤，還要有折扣，隻需一次搜索就能實現。
另外，用戶還可以調整已經生成的 AI 摘要，或者選擇簡化版本，或者選擇查看更多細節。
這一切是谷歌通過定制的 Gemini 模型來實現的，其将多步推理、規劃和多模态與搜索系統結合，總結網絡内容并展示答案，據稱還是 AI 來設計和填充結果頁面。
但一個問題是，如果是 AI 爲用戶捕獲搜索結果，谷歌的競價廣告業務往哪放？
據谷歌高管稱，與傳統查詢出的網頁列表相比，AI 摘要中包含的鏈接會獲得更多點擊。「與以往一樣，廣告将繼續出現在頁面的專用位置上，并通過清晰的标簽區分有機結果和贊助結果。」
除了提問，谷歌 AI 搜索還能制定計劃，從飲食到旅行計劃，比如搜索「創建一個容易準備的團體 3 天飲食計劃」，AI 就會定制計劃，然後用戶可以将某份晚餐調整成素食，随後導出到文檔或者谷歌郵箱裏。
搜索還不僅僅是文本框中的文字，谷歌的視覺搜索也進化了，可以用視頻提問。比如，用戶有台二手唱片機，上面帶針的金屬部件漂移了，不知道怎麽回事，可以直接用視頻搜索，即能得到有解決步驟的 AI 摘要和相關鏈接，省去描述問題所需要的正确術語的時間和麻煩。
使用谷歌 AI 搜索，直接制定飲食計劃 ｜圖片來源：谷歌
谷歌照片應用也将進化。桑達爾 · 皮查伊在演示中稱，9 年前他們推出了這個應用，現在每天有超過 60 億張照片和視頻被上傳到這裏。
該應用在未來幾個月将推出「詢問照片（Ask Photos）」功能，也是基于 Gemini 模型，可以讓用戶以自然語言搜索照片和視頻中的人物、寵物、地點等，它能理解照片的上下文和主題，找到特定的回憶信息，無需滑動屏幕。
例如，「向我展示我參觀過的每個國家公園的最好看的照片」「去年我在哪裏露營？」「我的優惠券什麽時候到期？」「露西娅什麽時候學會遊泳的？」「顯示露西娅的遊泳進步情況」「莉娜的生日派對是什麽主題？」最後，它還能撰寫旅行亮點或者個性化的标題，供用戶在社交媒體上分享。
谷歌還稱，「除非在極少數情況下是爲了解決虐待或傷害問題，我們不會使用這些個人數據訓練 Google Photos 之外的任何生成式 AI 産品，包括其他 Gemini 模型和産品。」
使用詢問照片功能，詢問生日派對細節｜圖片來源：谷歌
在創作工具方面，谷歌在 I/O 大會上還推出了 AI 生成視頻的工具 VideoFX，并更新了 AI 圖像和 AI 音樂創作工具 ImageFX 和 MusicFX。
VideoFX 可以讓電影制作人編寫提示來構建電影鏡頭，ImageFX 添加了圖像編輯控件，而 MusicFX 出了一個新的 DJ 模式。
其中，新工具 VideoFX 由 Veo 提供動力，Veo 是谷歌 DeepMind 最強的生成式視頻模型。這個新工具配備了一個故事闆模式，可以逐個場景地進行叠代，并向最終視頻添加音樂。
據谷歌高管稱，Veo 能理解「延時拍攝」等電影術語，可以生成各種電影和視覺風格的 1080p 分辨率視頻，時間還可以超過一分鍾。Veo 将通過候補名單提供預覽版。
另外值得注意的是，VideoFX、ImageFX 和 MusicFX 生成的所有内容都被數字水印 SynthID 标記，主要是爲了防止 AI 内容濫用和虛假信息傳播問題。
使用谷歌 AI 生成視頻工具 VideoFX ｜圖片來源：谷歌
除了創作工具，谷歌日常工作應用的進化也值得關注。包括 Gmail 郵箱、日曆、文檔、表格、幻燈片、雲端硬盤等在内谷歌 Workspace 應用，将引入最新的 AI 模型 Gemini 1.5 Pro，位于側邊欄，作爲一個虛拟助手。
當用戶點擊側邊欄的 Gemini 圖标時，Gmail 中的 Gemini 将提供「總結此電子郵件」「列出下一步操作」「建議回複」等選項。用戶可以讓它總結小孩學校的郵件，獲得需要行動的信息，起草回複。
Gmail 側面闆中的 Gemini 總結電子郵件 ｜圖片來源：谷歌
另外，在昨天 OpenAI 發布的 GPT-4o 演示中，其中有個教育場景，GPT-4o 直接化身家教，逐步教一個青少年解決幾何數學問題。
谷歌也宣布推出 LearnLM，這是一組基于 Gemini 的微調模型，專爲學習教育而設計，同時演示了一些在搜索、YouTube 應用上的 AI 教育學習場景。
比如，在 YouTube 上，用戶可以在觀看視頻時提問，也可以針對視頻提後續問題。在 Android 上，可以用畫圈搜索（Circle to Search）嘗試解決數學和物理題目裏的特定困難。
針對 YouTube 學習視頻進行提問 ｜圖片來源：谷歌
在這場 AI 公司的軍備競賽中，谷歌追趕 OpenAI 的其中一大優勢「老本」，在于其掌握手機安卓系統，以及龐大的應用生态。
但當生成式 AI 真的全方位進入谷歌的生态應用，直接接管搜索，幫人回憶過去，制定出行計劃，取代真人家教等等，其準确性是否真的可靠？我們拭目以待。
