以下文章來源于矽星人 Pro ，作者 Jessica
第二期華夏基石數智時代領導力特訓營熱招中！
報名即送十月管理論壇參會名額 1 個，價值 12800 元！
作者 | Jessica
來源 | 矽星人 Pro，管理智慧
咨詢合作 | 13699120588
文章僅代表作者本人觀點，圖片來源于 pixabay
從 o1 到 Cursor，再到 Canva 和 Notebooklm，大模型正在快速進入應用落地階段，所有創業者和開發者甚至研究者都要思考如何讓這個技術直面用戶，更快走入消費者市場。
在加州聖克拉拉剛剛舉辦的 2024 華源年會上，矽星人創始人駱轶航與 BosonAI 聯合創始人李沐，Luma AI 首席科學家宋佳銘，以及加州大學伯克利分校增強現實中心執行主任楊安進行了一場對話，讨論了今天 AI 技術在進入消費者市場過程裏的挑戰，最新的模型發展趨勢，以及作爲創業者在創業一線感受到的冷熱變化。
以下爲對話實錄：
駱轶航：上台前我的一個朋友說，我是來負責拉低這場 panel 智商的。我非常同意，畢竟我自己沒有 PhD 或科學家背景，而是媒體和社區出身。但正是這些經曆，讓我能從不同角度提出一些問題。比如幫助大家将前沿的 AI 研究轉化爲真正面向消費者的東西，這其實也很有趣。好的，那麽首先讓我向在座各位提一個問題。
大家作爲既熱衷于 AI 學術界又緻力于爲消費者打造真正 AI 産品的個人，是如何将前沿 AI 研究轉化爲面向消費者的成果？這是你們日常工作的一部分嗎？
楊安：我可以先回答。我目前在教育行業工作，而孩子們将成爲下一代用戶，也是未來公司需要雇傭的勞動力。因此，創新以及如何部署這些創新來真正幫助下一代，是我的關注點。這意味着以用戶爲中心的設計，我們必須理解孩子們的需求。
随着技術的不斷發展，每個現代家庭的父母都必須成爲創新者，家庭裏的每個孩子也必須成爲創新者，因爲舊的學習方式幾乎在我們眼前消失了。我們剛剛聽到兩位教授講述了如何進入頂尖大學。我知道家長和學生們必須找到新的方法來展示他們的能力和資質。因此，我想發掘更多這些方面的内容，希望新技術能夠更好地爲他們服務。
駱轶航：佳銘，你怎麽想？
宋佳銘：從我的角度來說，我認爲問題是作爲學術界和工業界的從業者，如何保持好奇心。兩者的衡量标準是不同的，學術界通常是爲了發表論文，讓你的研究被社區認可，而工業界更多的是關于如何建立産品，并爲更多人創造長期影響。因此，雖然兩者都需要創新，但在工業界，某些更難的問題反而可以更容易解決，因爲有長期規劃，而不是專注于學術研究。在 Luma 我們主要關注産品。和我交談的人提出了許多難以實現的需求，這對我們研究人員提出了挑戰，因爲我們當時無法解決這些問題。但也讓我們有機會提出一些從根本上改變現狀的新解決方案。
駱轶航：那麽在 Luma，工作模式是産品團隊推動研究人員實現這些目标嗎？
宋佳銘： 實際上是雙方相互推動。研究人員對什麽是可能的有更好的理解，而産品設計師當然有全新的願景，但有些願景短期内很難實現。不過他們的願景确實非常出色。因此這更像是在權衡短期和長期的能力。
駱轶航：李沐，你怎麽考慮這個問題？
李沐：過去十年我主要從事 AI 技術工作，幫助解決不同的問題。大多數是 B2B 業務，比比如幫助像 Amazon 這樣的公司開發新産品，或者幫助初創公司爲大型企業提供客戶解決方案。但幾個月前，我意識到，爲什麽不利用這些技術來解決我自己面臨的問題呢？比如，我有兩個孩子，我花了很多時間照顧他們。那麽是否有可能用技術讓孩子們更快樂，或讓教育更好？我還考慮到父母，是否可以用技術幫助老年人？現在的技術已經好到足夠可以服務于孩子們和老年人。
駱轶航：所以這促使你開始創業，專注于如何用 AI 幫助你自己和家人？
李沐：我覺得這是一個很好的機會，可以探索新的方向。
駱轶航：那麽讓我們更深地探讨這個話題。在研究人員和消費者之間的關系上，你以深度學習的布道者而聞名，那麽你接觸非 AI 專業人士的經曆，是否有幫助你更好地理解人們對 AI 的需求？
李沐： 是的，我一直試圖幫助一些特定人群，比如碩士研究生，他們的導師通常忙于寫提案，沒時間教他們，所以這些學生需要幫助。另外，一些剛畢業進入工業界的學生也面臨很多挑戰。他們可能沒機會接觸最前沿的技術，但需要趕上這些新的技術浪潮。所以我考慮如何幫助這些人，但後來我意識到，很多人并不是真的想深入了解技術，他們隻是把學習當作一種陪伴的方式，享受知識流過大腦的感覺，而不必記住所有内容。這改變了我與孩子們的相處方式。有時候我們不一定要教他們什麽，而是一起享受這個過程。
駱轶航： 這是你第一次這樣表述自己對 " 布道 " 的想法。你其實并不是在真正要教會那些觀衆，而更像是他們的陪伴者，對吧？所以這是否激發了你去做一些類似于 AI 伴侶的東西？
李沐： 是的，這是其中之一。
駱轶航：很酷。那我們繼續讨論 AI 伴侶的話題。你之前在社交媒體上提到你會做一些與此高度相關的事情。AI 伴侶這個想法出乎很多人的意料。因爲你之前一直從事其他領域的工作，但現在你和你的團隊正在嘗試開發一個具備最高 IQ 和 EQ 的 AI 伴侶。那它會是什麽樣子？它的形态如何？
李沐： 這是個好問題。我們目前的重點是 AI 技術，這隻是我們想要模型前進的一個方向。我認爲我們現在擁有的技術離最終目标還很遠，這個目标是模型或智能體能夠像人類一樣，甚至不一定是人類，隻要足夠智能。尤其是對年輕人而言，能夠被認作是他們的朋友，要達到這個目标還有很多事需要做。如果你現在看看 ChatGPT，甚至是幾天前宣布的 ChatGPT 實時功能，一開始非常令人驚豔，但過了一段時間後，你會發現它還是有很多不足，很多邊緣案例處理得不好，它并不真正理解你。
所以，最終我們設想的模型不一定是那種擁有超高智商的家夥。因爲在生活中，大多數情況下你不需要重複教導别人，而更多的是情感支持。因此，模型需要非常好地理解人類情感。目前這很難做到，原因是我們缺乏足夠的數據。雖然我們有大量編碼數據和教科書數據，但我們沒有足夠的數據來理解人類情感和背後的邏輯推理。這使得在建模方面很難，
駱轶航：既然你提到了這些挑戰，你認爲你們能完成這個任務嗎？你們能夠構建一個具備最高情商和智商的 AI 伴侶，而其他團隊——比如 Character AI 之前未能實現這個目标——相比他們，你覺得你們的優勢是什麽？你爲什麽相信你們可以做得更好？
李沐： 我并不認爲他們失敗了，隻是遇到了一些問題導緻放棄了。Character AI 的模型團隊去了 Google，可能繼續開發相關技術，但作爲一家公司，他們可能覺得這個項目需要五年或更長時間才能實現。因此這并不是成功或失敗的問題，而是五到十年的遠景。我認爲我們需要這樣的 AI 伴侶，因爲現在人們變得更加孤獨和孤立。過去可能三個人就能組成一個團隊，但現在一個人就能用各種工具，比如 Cursor、Copilot 和 ChatGPT，獨自構建産品。所以當每個人都可以獨立工作時，你會發現沒有人可以交談。未來每個人都忙于自己的工作，沒時間聽你說話。AI 伴侶可以成爲你傾訴的對象，總結來說，我認爲我們做到了。
駱轶航：好的，那麽讓我們轉向佳銘，仍然是關于面向消費者的内容。不過在此之前，我需要提出一個技術問題，昨天 Meta 發布了他們的一個視頻生成模型，叫做 Movie Gen，令人驚訝的是，它舍棄了擴散模型，轉而采用了一種新的架構，名爲 Flow matching。你對這一點有什麽看法？畢竟你在職業生涯中做了大量擴散模型的研究。
宋佳銘：我認爲在 Flow matching、擴散模型以及擴散 transformer 這些概念之間，人們的理解存在一些誤解。首先我要總結一下，流匹配與最初提出的擴散模型框架有所不同，但差别并不顯著。它的不同之處在于，相同訓練預算下能夠在較少的采樣步驟内取得更好的效果。不過類似的結果早在 Stability 以前的論文中就已經展示過，他們使用了一種稱爲 " 修正流 "（rectified flows）的概念，這實際上與 Flow matching 的想法非常相似。修正流最初是由德州大學奧斯汀分校張召 ( Zhang Zhao ) 教授團隊提出的，他們還進一步擴展了該概念。因此這并不是一種全新的模型。
駱轶航：那與現有擴散模型相比，它的區别在哪裏？
宋佳銘：在擴散模型中，一個非常重要的概念是将噪聲與原始輸入混合，而流匹配和傳統擴散模型之間的差異主要體現在如何混合這些輸入，以及在信号與噪聲的比例（通常稱爲信噪比）上的不同。擴散過程通常是從信噪比無限大（無噪聲）到信噪比爲零（無原始信号）的過渡。Flow matching 也在這個框架内，不同的是它在這個過渡過程中的調度和信号縮放方式不同。
駱轶航：你覺得這種流匹配架構對用戶，比如那些創作者，會有什麽影響？
宋佳銘： 流匹配作爲一種算法，可能會加速訓練和推理過程，這也是大家在擴散模型中試圖解決的關鍵問題之一。比如我個人之前在解決這個問題時，通過算法改進将推理速度提升了 5 到 10 倍，之後還有很多後續工作也在改進采樣速度。而與擴散模型類似，流匹配會繼續在這些領域中存在，因爲它與擴散模型的訓練技巧非常相似。至于 transformer，它是一種通用架構，目前大模型，比如自回歸 transformer，在語言模型中廣泛使用。所以這些算法和架構雖然有區别，但它們之間是相關聯的。流匹配和修正流的影響在于，它們提供了更好的超參數來訓練這些模型。
駱轶航： 好的，那我們來聽聽 Alan 的看法。Alan，你的研究和工業界的商業化非常接近，尤其是在 AR 或 VR 領域，并且與你提到的以人類中心的用戶體驗設計密切相關。那麽你是如何從潛在的 AI 消費者中學習的？比如那些年輕父母、青少年，甚至是新生兒，他們可能是這類 AI 産品的早期采用者。你是如何确保你的研究以人類爲中心，并且準确達成這些目标的？
楊安： 我可以舉幾個例子。我拿到了計算機視覺方向的博士學位，那是在 26 歲左右，那個時候深度學習剛剛興起。大家都知道，随着技術的發展，教授們越來越忙于寫論文，可能沒有太多時間教學生。我認爲，作爲教授或者教育行業的從業者，我們唯一需要關注的用戶就是孩子、學生，以及他們的父母。我們如何幫助他們？目前我還沒有看到任何 AI 産品能夠真正引導孩子們去學習 STEM（科學、技術、工程、數學），學生的學習動機仍然依賴于學校、孩子和父母之間的合作。
在伯克利，我們創建了一些項目來激發孩子們對技術的興趣，比如 AI 賽車項目。令人驚訝的是，年僅六歲的孩子們已經開始讨論自動駕駛了。我認爲，通過這種方式，我們可以讓學生們感受到技術的興奮和價值，從而激發他們的學習興趣。
在這個 AI 賽車項目中，我們發現從五歲到七十歲的人都能立即理解賽車的意義。無論是用無線遙控在廚房裏操控賽車，還是在賽車場上以 150 英裏的時速賽車，都能激發他們的興趣。因此，我們的項目吸引了很多有才華的本科生和研究生參與，他們能夠看到自己的貢獻如何變得有趣和有價值，并将其介紹給父母或未來的雇主。
駱轶航：那麽在伯克利，你會遇到來自各種背景的年輕人，他們可能學習文學、哲學、社會學等學科，有些人甚至對人工智能有抵觸情緒。你如何看待這個差距？你将如何彌合這些誤解？
楊安： 我再給你舉兩個例子。其中一個是我們目前在伯克利正在進行的項目。我們在伯克利有一個頂級領域，叫做 TAI，代表教學助理智能平台（Teaching Assistance Intelligence.berkeley.edu）。這個想法是利用 GPT 技術，爲每門伯克利的課程提供 24/7 的 GPT 個人助理。要知道，在伯克利，我們有超過 5 萬名學生，很多基礎課程可能有上千名學生參與，甚至在多個班次中一起上課。爲了給學生提供更好的教育，一個方式就是去中心化教育。而通過 24/7 的 GPT 助理，可以讓學生在任何時候獲得幫助。我認爲，下一代對這些技術的抵觸會比老一代小得多，就像我女兒，她一發現特斯拉可以自動駕駛，完全沒有感到擔憂，這對她來說是非常自然的事。我相信，當她長大後，會覺得所有的車都應該自動駕駛，而手動駕駛的車可能會變成她這一代人的 " 古董 "。
當然，這個過程并不能應用于所有方面。比如我們目前正在與高通公司合作的一個研究項目，發現設計師和工程師之間存在很大的鴻溝。假如我們想要設計一個全新的用戶界面，這并不是 AR 或 VR 的界面，也不是傳統的 UI，而是基于 GPT 的 UI，類似于電影《鋼鐵俠》中的賈維斯。我們發現設計師在這個項目中的第一個問題就是，他們對大語言模型（LLM）如何觸發操作系統功能完全沒有概念。因此，傳統設計師需要接受相當系統的教育才能理解如何将 GPT 集成到界面中。這是我們在伯克利通過研究長期解決的一個問題，我們需要立即解決這些問題，而不能等到下一代。
駱轶航：同樣的問題轉向佳銘，想聽聽你從用戶端的反饋，尤其是關于 Dream Machine 的用戶，他們可能是個人創作者或專業的視頻制作工作室。我猜測，大多數用戶可能需要連續運動的角色，可能持續 30 秒或更長時間，或者需要更加真實的 3D 圖像，同時希望生成成本能大幅降低。那麽這些用戶的痛點是可以通過逐步改進來解決的，還是需要從零開始進行新的研究？
宋佳銘： 這是個很好的問題。我認爲用戶的需求非常多樣化，而我們實際上是在 Dream Machine 推出後才真正了解到用戶的需求。因此，我們确實在推出時并不了解這些需求。但我們确實從用戶的行爲中學到了很多，他們的想象力遠遠超出了我們的預期。我認爲有些需求可以通過擴大規模來滿足，然而生成視頻的成本依然很高，因爲視頻包含大量像素，并且需要處理龐大的上下文信息。因此，确實需要一些基礎研究的改進來進一步降低成本。但我對這個領域的進展持樂觀态度，因爲我們看到，在過去兩年中，語言模型領域的成本大幅下降，而圖像生成的質量也顯著提高。所以我對未來的進展充滿信心。
駱轶航： 太棒了！接下來我們再讨論一下未來的趨勢。大家怎麽看待未來 AR 或 VR 設備的發展？比如 Meta 剛剛發布的 Orion 眼鏡，以及在 AR 設備中的内容生成和視頻生成模型的結合。 佳銘怎麽看待這個問題？畢竟 luma 目前沒有從事硬件方面的工作。你如何看待視頻生成與 AR 或 VR 設備的結合？
宋佳銘： 我認爲視頻生成和圖像生成在 3D 和 4D 生成中非常有用，未來我們肯定會看到更多的 4D 生成工作。過去一年裏，随着視頻模型的出現，确實有更多的應用場景，因此它們在 AR 和 VR 應用中也非常有用。不過，要想看到廣泛的應用，我們确實需要看到這些硬件的廣泛普及。
駱轶航： 李沐，你認爲 AI 伴侶是否會在虛拟現實環境中存在？
李沐： 是的，這是我們與一家大型遊戲工作室正在合作的項目之一。他們已經做了很多開放世界的 3D 遊戲，但我們設想，下一代遊戲不再需要 1000 個設計師來編寫劇情，而是由邏輯模型自動生成所有的故事情節、角色、事件和互動。這是 AI 生成的劇情、角色、社會和人類之間的互動，應該是有趣且一緻的。
駱轶航： 我是三國遊戲的超級粉絲，如果遊戲中的每個角色都由一個足夠強大的視覺模型生成，他們會彼此互動，我們也可以和他們通過自然語言進行對話，會非常有趣。
最後一個問題，請每個人給出一個簡潔的回答。
你們怎麽看待多模态模型在實現通用人工智能目标中的作用？早上，李開複在台上談到了多模态的重要性，他說多模态模型将推動大量的創新應用。你們怎麽考慮？
宋佳銘： 語言建模中的一個核心概念是可擴展性，基本上是你擴大數據和模型的規模，性能就會變得更好。有些人認爲這是一條通往 AGI 的道路。不過，我們不能無限增加模型規模，但我們可以顯著擴大數據規模。語言建模領域幾乎已經用完了所有的語言數據，正在依賴合成數據生成，但在視頻、音頻等多模态領域，還有大量的數據尚未利用。因此，我認爲多模态 AGI 的路徑在于利用這些海量的數據。
李沐： 過去半年，我們在音頻多模态領域進行了一些研究，發現現在的問題是，在開始的前一分鍾，多模态模型的表現都很好，能夠處理情感信息。但一分鍾之後，文本模型的表現依然更好，推理和上下文的處理依然是文本主導。因此，文本仍然是關鍵，其他模态可以讓産品更加有用，但能否顯著提升效果，暫時還不确定。
駱轶航： 好的，今天的讨論就到這裏，希望大家都享受了這場讨論。謝謝各位！
