尤洋團隊新作，首個基于 DiT 的實時視頻生成方法來了！
先來直觀感受一下效果（右側爲新方法）：
這是團隊在 Open-Sora 上，使用5 個 4s（192 幀）480p分辨率視頻進行的測試。
新方法名爲Pyramid Attention Broadcast（PAB），由新加坡國立大學尤洋以及 3 位學生推出。
具體來說，PAB 通過減少冗餘注意力計算，可實現高達21.6FPS和10.6 倍加速，并且不會犧牲基于 DiT 的流行視頻生成模型（包括 Open-Sora、Open-Sora-Plan 和 Latte）的質量。
作爲一種免訓練方法，PAB 可爲将來任何基于 DiT 的視頻生成模型提供實時功能。
看完效果對比，網友們紛紛驚歎：
這将是新紀元。
也引來了衆多專業人士的轉發和點評，如 MIT 博士 Yilun Du 表示：
是一個展示了如何将視頻生成加速到實時速度的酷炫工作！可能會爲視頻策略和模拟的現實世界用例開辟新的領域。
那麽，新方法具體如何破解實時生成視頻這個難題的呢？
減少冗餘注意力計算
一開始，團隊比較了當前擴散步驟與前一步驟的注意力輸出差異。
這些差異通過均方誤差（MSE）進行量化，并對每個擴散步驟的所有層進行平均。
團隊捕捉到兩個關鍵信息：
随着時間推移，注意力差異遵循U 形模式，中間 70% 差異較小
注意力差異的排序爲：空間 > 時間 > 交叉
具體而言，不同時間步驟的注意力差異呈現出 U 形模式，在第一步和最後一步的 15% 步驟中發生顯著變化，而中間 70% 的步驟非常穩定，差異很小。
其次，在穩定的中間部分，不同類型的注意力表現出差異：空間注意力變化最大，涉及高頻元素，如邊緣和紋理；時間注意力顯示出與視頻中的運動和動态相關的中頻變化；跨模态注意力最爲穩定，它将文本與視頻内容聯系起來，類似于反映文本語義的低頻信号。
對此，團隊正式提出用 PAB 來減少不必要的注意力計算。
PAB 通過根據每種注意力的差異将注意力輸出到不同的後續步驟，從而節省計算量。
舉個例子，就像廣播電台把一個信号發送給多個聽衆一樣，如果某個步驟的注意力結果在接下來的幾個步驟中仍然适用，就不需要重新計算，而是直接使用之前的結果。
團隊發現，即使沒有後期訓練，這種簡單策略也能實現高達 35% 的加速，并且質量損失可以忽略不計。
爲了進一步增強 PAB，團隊基于動态序列并行（DSP）改進了序列并行。
序列并行通過在多個 GPU 上分割視頻以降低延遲，但 DSP 帶來的時間注意力需兩次全對全通信，導緻高通信開銷。
而 PAB 由于時間注意力不再需要被計算，使這些通信開銷減少了50% 以上，從而優化了實時視頻生成的分布式推理效率。
借助并行功能，PAB 可實現高達21.6FPS和10.6 倍加速，并且不會犧牲基于 DiT 的流行視頻生成模型（包括 Open-Sora、Open-Sora-Plan 和 Latte）的質量。
展開來說，團隊測量了 PAB 在8 個英偉達 H100 GPU 上爲不同模型生成單個視頻的總延遲。
使用單個 GPU 時，PAB 實現了 1.26 倍到 1.32 倍的速度提升，這一提升在不同調度器中保持穩定。
擴展到多個 GPU 時，PAB 實現了高達 10.6 倍的速度提升，且這一提升幾乎與 GPU 數量成線性關系。
背後團隊
簡單介紹一下提出 PAB 的團隊成員，總共有 4 位。
尤洋教授想必大家都比較熟悉了，清華計算機系碩士，UC 伯克利博士，畢業後加入新加坡國立大學計算機系，擔任校長青年教授 （Presidential Young Professor）。
2021 年 7 月，在北京中關村創辦了" 潞晨科技 "。
作者之一Xuanlei Zhao（趙軒磊），華科大計算機科學與電子信息專業工程學士，碩博均在新國立（目前爲博一），導師爲尤洋，研究方向包括但不限于算法、數據結構、計算機網絡、信号處理、通信系統等方面。
作者之一Kai Wang（王锴），新國立 HPC-AI 實驗室博士生，導師爲尤洋，本科就讀于北師大珠海分校電氣工程與自動化系，碩士就讀于中科院深圳先進技術研究院 ( MMLAB-SIAT ) ，研究重點是以數據爲中心的人工智能和高效機器學習。他和尤洋教授共同指導了這個項目。
最後一位Xiaolong Jin（金小龍），本科就讀于中國科學技術大學少年班學院，目前是普渡大學在讀博士生。此工作是在尤洋團隊擔任科研實習生時完成。
目前相關研究已公開，感興趣可以進一步了解。
項目主頁：
https://oahzxl.github.io/PAB/
開源地址：
https://github.com/NUS-HPC-AI-Lab/OpenDiT
參考鏈接：
[ 1 ] https://x.com/oahzxl/status/1805939975420330298
[ 2 ] https://kaiwang960112.github.io/#work_experience
[ 3 ] https://oahzxl.github.io/
[ 4 ] https://x.com/YangYou1991
[ 5 ] https://www.linkedin.com/in/xiaolong-jin-514651284/
