現在，用 LLM 一鍵就能生成百萬級領域知識圖譜了？！
來自中科大 MIRA 實驗室研究人員提出一種通用的自動化知識圖譜構建新框架SAC-KG，提升效果 be like：
當使用 ChatGPT 作爲基礎模型時，SAC-KG 達到了 89.32% 的準确率和 81.25% 的領域特異性，相對于 SOTA 方法提升了 20%。
一直以來，知識圖譜構建技術始終是研究熱點。
不過對構建領域知識圖譜來說，由于需要大量的專家知識和人工幹預，其實際應用受到嚴重限制。
對此，最近基于大語言模型（LLM）的構建方法成爲了一種新趨勢。但仍存在一些問題，嚴重影響所構建領域知識圖譜的可信度。
針對上述痛點，研究團隊進一步提出了 SAC-KG，相關論文已發表在 CCF-A 類人工智能頂級會議 ACL 2024 Main。并開發部署領域知識圖譜自動構建平台 SAC-KG，支持輸入大規模領域語料，一鍵生成高質量領域知識圖譜。
SAC-KG 是如何工作的
由于大語言模型出色的語義理解能力和生成能力，基于 LLM 的方法成爲了一種新趨勢。通過利用 LLM 中存儲的先驗知識，從原始語料中提取三元組。
然而，基于 LLM 的方法仍面臨一些問題。輸入中的上下文噪聲和輸出中的知識幻覺會導緻錯誤或不相關的三元組生成，從而嚴重影響所構建領域知識圖譜的可信度。
爲了解決上述問題，該研究提出了一種全新的自動化知識圖譜構建通用框架 SAC-KG，利用大語言模型作爲領域知識圖譜的自動化構建專家，在給定領域語料的情況下，以自動化、精确性和可控性爲目标提取三元組。
該框架包含三個組件：生成器、驗證器和剪枝器。
生成器
首先，生成器包括領域語料檢索器和開放知識圖譜檢索器，分别爲指定的實體從領域語料庫和開放知識圖譜中檢索最相關信息。
其中，領域語料檢索器提供最相關的文本語料作爲 LLM 的輸入，減少上下文噪聲的引入；開放知識圖譜檢索器提供與實體最相關的三元組作爲示例，幫助控制模型的輸出格式。
LLM 的輸入包括與實體相關的上下文、三元組示例以及相應的提示，輸出爲生成的以指定實體爲頭實體的三元組。
驗證器
由于 LLM 存在知識幻覺，可能生成錯誤三元組，因此由驗證器負責檢測并過濾掉由 LLM 生成的錯誤三元組。
這一過程分爲兩個步驟：錯誤檢測和錯誤糾正。
在錯誤檢測階段，驗證器會執行三種檢查并進行标記：
數量檢查：如果生成的三元組數量少于阈值（默認是 3 個），則标記爲 " 數量不足 "。
格式檢查：如果三元組不符合預定義格式，則标記爲 " 格式錯誤 "；如果頭實體不匹配預定義實體，則标記爲 " 頭實體錯誤 "；如果頭實體和尾實體相同，則标記爲 " 頭尾矛盾 "。
沖突檢查：驗證器會檢測三元組中的邏輯沖突。例如，确保一個人的出生時間早于死亡時間，且年齡不爲負數。
在錯誤糾正階段，根據檢測到的錯誤類型提供相應的提示，并重新讓 LLM 生成正确的輸出。例如，如果是 " 格式錯誤 "，會提示模型 " 請嚴格按照格式要求重新生成，注意三元組的格式 "。
剪枝器
知識圖譜的生長過程可以看作一棵樹的逐層增長，從淺到深逐步獲取領域知識，意味着下一層三元組的頭實體是上一層三元組的尾實體。
在經過驗證器驗證後，将得到的正确三元組整合到生成的新層圖譜中，并繼續生成下一層三元組。
然而，并不是所有三元組都需要繼續生成下一層。例如，" ( 稻米 , 最佳生長溫度 ,20-25 攝⽒度 ) " 是正确的三元組，但尾實體 "20-25 攝氏度 " 不需要作爲下一層的頭實體進行進一步生成。
爲了提高知識圖譜的可控性，該研究引入剪枝器，這是一個在開源知識圖譜 DBpedia 上微調的 T5 二分類模型。輸入爲每個正确三元組的尾實體，輸出爲 " 生長 " 或 " 修剪 "，表示是否需要繼續生成下一層圖譜。
訓練剪枝器時，從 DBpedia 收集訓練數據，将部分頭實體作爲 " 生長 " 類的代表，尾實體則作爲 " 修剪 " 類的代表。通過這些實體文本和對應标簽進行微調。
實驗及結果主實驗
在同一領域的知識圖譜自動構建中，研究團隊使用GPT-4進行自動和高效的評估。
如表 1 所示，SAC-KG 表現優異，超越了多個基線模型。
四個基線模型包括 OpenIE6、StanfordOIE、DeepEx 和 PIVE，其中前兩者爲基于規則的三元組抽取方法，而 DeepEx 結合了 Bert 模型與規則技術，PIVE 則直接使用 ChatGPT 構建知識圖譜。
SAC-KG 在知識圖譜構建上始終優于這些方法，尤其在準确率和領域特異性上表現突出。
當使用 ChatGPT 作爲基礎模型時，SAC-KG 達到了 89.32% 的準确率和 81.25% 的領域特異性，顯著優于基于規則的方法，相對于 SOTA 方法提升了 20%。
消融實驗
消融實驗中，研究團隊每次叠代中計算這些指标，以獲得更細緻的結果。
他們将沒有開放知識圖譜檢索器的 SAC-KG 記作 SAC-KGw/oprompt，沒有領域語料檢索器的記作 SAC-KGw/otext，沒有驗證器的記作 SAC-KGw/overifier，沒有修剪器的記作 SAC-KGw/opruner。
如表 2 所示，SAC-KG 中的任一組件缺失都會導緻整個框架性能下降。
特别是，修剪器和開放知識圖譜檢索器對 SAC-KG 的性能影響更爲顯著。這兩個組件分别控制生成方向和添加示例，表明在知識圖譜構建過程中提升可控性的重要性。
研究團隊進一步可視化了 SAC-KG 每個消融版本生成的前三層知識圖譜。如圖所示，完整的 SAC-KG 版本表現出最佳的整體結果，且每一層中的錯誤三元組數量沒有顯著差異。這一現象表明，在領域知識圖譜的叠代生成過程中，錯誤傳播并不明顯。相反，去除了文本處理模塊（SAC-KGw/o text）和剪枝模塊（SAC-KGw/o pruner）的版本顯示出明顯的錯誤傳播，導緻在第三層生成的錯誤三元組數量顯著增加。而去除了提示模塊（SAC-KGw/o prompt）和驗證模塊（SAC-KGw/o verifier）的版本僅能提取較少的三元組，這意味着語言模型在缺乏示例和錯誤糾正過程的情況下難以從領域語料中總結知識。這些結果進一步證實了框架内每個組件對構建過程的重要貢獻。
OIEbenchmarks
SAC-KG 在傳統的開放信息抽取任務中的有效性和廣泛适用性通過多個開源基準數據集的實驗得到了驗證。
實驗結果顯示，SAC-KG 在這些傳統 OIE 基準數據集上，顯著優于現有的最先進方法。
特别是，在與基于規則的方法（如 OpenIE6 和 StanfordOIE）和基于大規模語言模型的方法（如 DeepEx 和 PIVE）的比較中，SAC-KG 始終達到最佳結果，證明了其在傳統 OIE 任務中的有效性和魯棒性。
小結
針對大規模領域知識圖譜構建成本高、精度低這一複雜的實際問題，本研究提出了基于大模型的叠代式領域 / 常識圖譜通用構建框架。
該框架實現了多源領域語料中的精準知識檢索，并結合開源圖譜實現了自适應提示機制，通過模拟樹生長過程，成功構建了百萬級的高質量領域圖譜。
論文發表在 CCF-A 類人工智能頂級會議 Annual Meeting of the Associationfor Computational Linguistics（ACL 2024 Main）。
論文作者第一作者陳瀚鑄是中國科學技術大學 2021 級碩博連讀生，師從王傑教授，主要研究方向爲知識圖譜與大語言模型，數據合成等。曾獲 KDDCup 全球高校團隊第一等榮譽。
論文地址：
https://aclanthology.org/2024.acl-long.238.pdf
開放構建平台：
http://8.149.242.106:5000（可試用）
— 完 —
投稿請發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回複你
點這裏關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
