在近日的一次訪談中，微軟 AI 主管 Mustafa Suleyman 深入探讨了人工智能領域的最新趨勢。他認爲，未來幾年 AI 模型将呈現大小模型 " 齊頭并進 " 的趨勢。
一方面，大型模型的規模化競賽仍将持續，并融入更多模态的數據，例如視頻、圖像等。另一方面，利用大型模型訓練小型模型的技術（如蒸餾）興起，高效的小型模型将在特定場景中發揮巨大作用。Suleyman 補充稱，未來，知識将被濃縮到更小、更便宜的模型中，嵌入各種設備，實現真正的環境感知革命。
對于創業者而言，Suleyman 認爲，理解并利用提示工程至關重要。通過提供高質量的指令集，創業者可以引導預訓練模型，使其符合自身品牌價值觀，打造獨特産品。此外，小型模型蘊藏着巨大機會，創業者可以利用其低成本和高效性，開發針對特定用例的應用。
采訪中，Suleyman 還強調了數據整合的重要性。合成數據将成爲訓練模型的關鍵，但如何獲取、整合這些數據仍需深入探讨。
此外，這位微軟 AI 主管還談到了新模式的加入，例如視頻和圖像的整合，以及跨複雜數字界面的動作軌迹的理解和數據收集。他認爲，這将帶來許多令人印象深刻的結果。對于企業家來說，如何利用這些新趨勢和技術進行創新，将是未來成功的關鍵。
以下爲全文内容，大家 enjoy~ ✌️（爲增加可讀性，我們對原文進行了簡要編輯）
Q：未來幾年，在不斷發展的模型 ( models ) 格局中，有哪些事情值得關注？
A：模型的規模既在變大，也在變小，這種趨勢幾乎肯定會繼續下去。
去年開始流行一種新方法，稱爲蒸餾。這類方法利用大型、高成本模型來訓練小型模型。這種監督效果相當不錯，目前已有充分的證據支持這一點。
因此，規模仍然是這場競争中的關鍵因素，未來還有很大的發展空間，數據量也将持續增長。
至少在接下來的兩三年内，" 規模法則 " 在提供超預期表現方面的進度不會有任何放緩。
Q: 還有哪些新的模式可以加入？
A: 人們也在考慮将視頻、圖像以及跨複雜數字界面的動作軌迹等新的模态融入模型中。
但我們真正感興趣的是跨複雜數字界面的動作軌迹，比如從浏覽器跳到桌面，再轉移到手機，從不同的生态系統中切換，無論是在封閉的花園還是開放的網絡中。
我們試圖理解這些軌迹，收集大量數據，使用監督學習和微調等方法。我認爲這将帶來許多令人印象深刻的結果。
Q: 在數據方面，人們在哪些方面思考得不夠多？
A: 數據的讨論角度很多，經典的問題是哪些數據可以使用及其質量。我認爲網上已經有大量讨論。
但人們沒有花足夠時間思考新數據的來源，以及如何整合這些數據。
例如，合成數據是一個有趣的領域，如果我們有這樣的數據，可以訓練出更好的小模型和大模型。如何獲取這些數據并确保其整合是一個關鍵問題。但是如何獲取這些數據并确保它們被整合起來，這一點還沒有得到足夠的讨論。
Q：在處理模型時，提示 ( prompt ) 和問題 ( question ) 之間有什麽區别？
A：提示不僅僅是你問聊天機器人的問題。當你問聊天機器人一個問題，那是一個問題；當你寫一個三頁的風格指南并附上模仿的例子，那是一個提示。
提示是你的高質量指令集，指導預訓練模型以特定方式行爲。令人驚訝的是，模型隻需幾頁指令就能表現得非常不同。
爲了讓模型表現出細微、精準和符合品牌價值的行爲，你需要展示成千上萬個良好行爲的例子，并将這些例子微調到模型中。這是預訓練過程的延續，使用高質量且準确的數據。
好消息是，成千上萬個例子對許多細分領域或特定垂直領域來說是非常容易獲得的。這是一個優勢，初創公司在高質量微調預訓練模型方面有很大的空間。
Q：小模型會帶來哪些機會？創業者如何利用它們做一些有趣且獨特的事情？
A：小模型無疑代表着未來。
大型模型在處理查詢時會激活數十億個不相關的神經表示，盡管它們非常高效地進行搜索和引用數億個節點，但并不總是必要的。
我們将把知識濃縮到更小、更便宜的模型中，這些模型可以駐留在各種設備上，如耳塞、可穿戴設備、耳環、植物或傳感器。
這場環境感知革命長期以來一直被人們所期待，它将帶來功能性設備，例如一個冰箱磁鐵，冰箱磁鐵是我能想到的最小的數字設備。它可以在早上迎接你，告訴你天氣情況，告訴你冰箱裏可能有什麽或沒有什麽，并提醒你查看日曆。
它可以在早上歡迎你，告訴你天氣，告訴你冰箱裏可能有什麽或沒有什麽，并提醒你查看日曆。
這種模型可能隻有幾千萬個參數。雖然目前還沒有人真正推動這一點，但任何兩人團隊都可以探索這一領域。
Q：人們在接下來的兩天裏應該思考什麽問題？
A：問題是，技術人員需要爲設計一個更加人性化的未來做些什麽。
這包括思考技術如何進化人類，以及我們的情感、激情和同情心如何通過我們與技術不斷變化的關系來表達。
Q：爲什麽說這是一個轉型時刻？
A：我們有足夠的證據表明，過去五十年的大技術轉型重塑了事物的結構。
我認爲這是一個創辦公司、擴展公司、甚至轉變職業的時刻。即使你不是企業家，無論你是活動家、組織者還是學者，現在是關注的時刻。
到 2050 年，列車将離站，情況會大不相同。我們現在有機會共同塑造和影響未來，沒有什麽是預定的。我們非常幸運能在這個時刻活着，這既是巨大的責任，也是令人振奮的機會。
