港大新型圖基礎模型AnyGraph：挑戰Scaling Law，精準建模多樣化結構模式和特征空間

新型圖基礎模型來了——

AnyGraph，基于圖混合專家（MoE）架構，專門爲實現圖模型跨場景泛化而生。

通過 MoE 架構、路由算法、SVD 方法和 MLP 網絡等，AnyGraph 解決了跨域和域内圖異構性問題，并進行了高效跨域模型訓練。

能夠精準建模多樣化的結構模式和特征空間。

在38 個不同領域數據集上進行實驗，AnyGraph 在零樣本預測、擴展定律、消融實驗和效率實驗等方面均表現出色。

AnyGraph 由來自香港大學的研究人員完成。

關于 AnyGraph 的更多細節我們接着往下看。

AnyGraph 長啥樣？

随着圖結構數據在各個領域的日益普及，對具有出色泛化能力的圖學習模型的需求愈發迫切。

現實應用中，圖學習模型需有效應對分布偏移并适應新的圖領域，但當前的先進模型在真正的泛化性能方面往往表現不足，嚴重依賴繁重的微調過程，難以适應實際應用中多樣的圖結構和分布。

受成功的基礎模型在理解視覺和語言數據方面的啓發，通用的圖基礎模型具有巨大潛力，可從多樣的圖結構數據中學習可遷移的表示，從而高效适應各種圖領域和任務。

然而，構建有效的自适應圖基礎模型面臨諸多挑戰，包括：

結構異質性：不同圖數據集的結構特性和數據分布多樣，如節點度分布和圖結構複雜度的差異，有效處理這種多樣性對開發統一模型至關重要。

特征異質性：圖的節點和邊特征具有異質性，包括特征的類型、維度和語義的差異，有效處理特征異質性對構建通用圖模型至關重要。

快速适應能力：有效圖基礎模型應能快速适應新的圖數據集和領域，無需大量重新訓練或微調，能快速調整參數和學習策略以應對新圖數據的結構和分布特征。

擴展定律：像計算機視覺和自然語言處理領域的成功基礎模型一樣，圖基礎模型應能展現出擴展定律，即性能随着模型規模或訓練數據集的增加而系統提升，通過利用這一現象，圖基礎模型能解鎖前所未有的能力和泛化能力。

爲應對這些挑戰，該論文提出了基于混合專家（MoE）架構的 AnyGraph模型。

圖混合專家框架解決跨域圖異構性

爲了建模不同應用領域之間的異構圖結構模式，AnyGraph 采用了一種混合專家（Mixture-of-Expert，MoE）的模型架構。

該架構由多個圖專家模型組成，每個模型都可以獨立對輸入的圖數據進行預測。

在設計中，不同的專家模型應當負責處理具有特定模式的圖數據。

AnyGraph 設計了一種路由算法，用于将輸入的圖數據分配給最善于處理它的專家模型，進行訓練或者預測。

圖專家路由算法

基于圖自監督學習任務的有效性，AnyGraph 的路由算法采用一種自監督的損失函數，通過計算專家模型在輸入圖上的自監督損失大小，來衡量模型與該輸入數據的匹配程度。

具體來說，AnyGraph 在輸入圖數據中采樣一定的邊作爲正例，并随機采樣同樣數量的節點對作爲負例。

通過計算專家模型對兩種邊預測分數的差值，可以看出模型對正例的識别能力，用于代表模型與數據的匹配程度。

基于訓練頻率的路由修正

盡管上述方法可以高效、準确地找到最善于處理輸入數據的專家模型，但該方法常常造成一種 " 赢者通吃 " 的次優結果：

由于訓練早期的各種随機因素，極少數專家模型，甚至一個模型，形成了對其他專家模型的優勢，路由算法因此不再将訓練數據分配給其他模型，造成了其他模型基本未經訓練、而最優模型過于通用無法專精的結果。

這種情況與原本的設計不同，無法做到每個模型專注于處理特定類别的圖數據。

因此，AnyGraph 維護每個專家的訓練次數信息，将其納入匹配分數的計算中去，爲較少經曆訓練的專家模型提供更多的訓練機會。

AnyGraph 的快速适應能力

值得注意的是，基于上述 MoE 架構，AnyGraph 在每次訓練和測試的過程中，僅需要激活它 1/K 的模型參數。

這意味着計算時間和存儲開銷上的極大優化，使其相對于同參數的其它非 MoE 模型具有極大的效率和适應性優勢。

因此，AnyGraph 在應對新數據時可以進行高效的微調；當面臨和一些原始訓練數據差距極大的情況時，還可以避免新數據對原本的模型參數産生過大的影響。

自适應且高效的圖專家模型解決域内圖異構性

不同圖數據的鄰接矩陣和特征通常具有不同的維度，爲了彌合這一差距，AnyGraph 的圖專家模型進行結構和特征統一，具有不同維度的鄰接矩陣和節點特征矩陣被映射爲具有固定維度的初始節點表征。

基于奇異值分解（SVD）在提取重要隐特征方面的有效性，AnyGraph 利用 SVD 方法來構建這一統一映射過程。

具體來說，研究人員使用 SVD 對鄰接矩陣和特征矩陣分别進行特征分解，每次得到兩個具有固定維度的節點特征矩陣，以及一個特征值對焦矩陣。

研究人員将這些信息進行整合、歸一化，得到具有相同維度的節點初始特征矩陣，而這些矩陣記錄了原始鄰接矩陣和特征矩陣的信息，又具有了相同的維度。

使用 SVD 進行這一過程具有一些潛在的優勢。

SVD 這種壓縮方法會按照隐含特征維度的重要程度進行排序，也就是說，其結果的第一個特征維度是 SVD 認爲最重要的維度，而最後一個維度是其認爲最不重要的特征維度。

這一特性潛在地規整了不同數據集之間的 SVD 特征，後續模型可以根據這一特點更容易地學習通用的預測網絡。

高效且強大的特征編碼

爲了在保持效率的同時獲得對圖特征建模的強大能力，AnyGraph 的圖專家模型采用多層感知機網絡（MLP）進行可學習的預測。

值得注意的是，每個專家模型都隻采用了簡單的 MLP 網絡，這種設計無法進行複雜的圖關系建模，例如 GAT 和 GraphTransformer 中的結構學習能力。

但 AnyGraph 在頂層采用了 MoE 架構，它的設計初衷是通過多樣化但簡單的特征變換來處理總體上複雜的圖學習任務。通過集成多個特征變換 MLP，AnyGraph 可以成功覆蓋不同的圖數據子集，達到強大的圖預測能力。

高效的跨域模型訓練

爲了最大化 AnyGraph 的跨圖泛化能力，AnyGraph 的訓練樣本是由不同數據集的訓練樣本混合并随機排序得到。

每個批次的訓練樣本包含一個圖、該圖當中一個批次的邊、該圖的預處理信息（初始節點表征和分配的最佳專家模型）。

AnyGraph 采用廣泛應用的邊預測任務作爲預訓練任務，使用交叉熵損失作爲優化目标。在訓練過程中，研究人員會進行定期的特征和結構擴充，包括重新進行基于 SVD 的表征初始化、在專家路由時進行結構采樣。

AnyGraph 效果如何？

AnyGraph 的實驗驗證采用了38 個來自不同應用領域的圖數據集，包括鏈路預測和節點分類兩個類别，涵蓋電商場景（用戶的購買、浏覽和評分行爲，商品間的共現關系），學術網絡（論文的引用關系及學者的合作關系），生物信息網絡（藥品、蛋白質之間的相互影響關系），以及諸如郵件網絡、網站之間的鏈接關系、以及道路網絡。

爲了更好地進行跨數據集的綜合性評價，實驗将所有數據集劃分爲兩個數據集集合 Link1 和 Link2，它們在總體上和單個領域内都具有相近數量的邊，但各自包含的數據集不具有相同來源和相同的特征構建方法。

研究人員使用其中一個訓練模型，并在另一個集合上進行零樣本測試。此外，所有數據集還按照應用領域劃分成了電商、學術網絡和其他三種類别，以進行更細緻的領域測試，其他類别主要由生物信息網絡組成，包含了其他較小的類别。

零樣本預測能力

首先進行了 AnyGraph 和基線方法的對比實驗，基線方法包括圖神經網絡、圖預訓練方法、圖提示微調方法、以及兩種圖基礎模型。