清華唐傑團隊的新作來了：
WebGLM，一個參數 100 億的聯網問答聊天機器人（論文入選 KDD2023）。
你可以問它任何問題，然後它将列舉出網上（例如維基百科、相關官網）相關的文章鏈接，整理出答案。
比如：
ChatGPT 的核心技術是什麽？
或者 :
誰提出的 Music Transformer？它的原理是什麽？
再或者：
原神 3.5 版本怎麽樣？
沒有高薪工作，怎麽在一線城市生活？（手動狗頭）
……
它都能給出有理有據的回答。
據介紹，在性能對比測試中，WebGLM 的水平已經高于OpenAI 135億參數的 WebGPT，在人類評估中，甚至與 1750 億參數的模型不相上下。
那麽，它是如何訓練的？
可以上網的清華系 WebGLM
據介紹，WebGLM 的目标是通過 Web 搜索和檢索功能，增強預訓練大語言模型，同時可以進行高效的實際部署。
爲此，作者基于三種策略進行開發。
首先是大模型增強檢索器。
它主要是用于增強模型相關網絡内容的檢索能力，在給定查詢的情況下查找相關引用，以便後面更好地準确回答問題。
它有兩個階段：粗粒度 web 搜索和細粒度 LLM 增強密集檢索。
其次是自舉生成器。
它利用 GLM（比如清華之前發布的雙語開源預訓練模型 GLM-130B）的能力爲問題生成回複，提供詳細的答案。
利用該生成器，作者得到 WebGLM-QA ——一個 LLM 自舉引用和長程的 QA 數據集。
它通過上下文學習等策略進行清洗和過濾，最終包括 45k 的高質量過濾樣本和 83k 的噪聲樣本。
WebGLM 的 backbone 就是一個在該數據集上訓練的 GLM 模型。
最後是基于人類偏好的打分器。
它通過優先考慮人類偏好而非昂貴的專家反饋來評估生成回複的質量，确保系統能夠産生有用和吸引人的内容。
以上三大組件最終按順序形成 WebGLM 的 pipeline：
可以看到，正好三個模塊，對應前面介紹的三部分，其中：
LLM 增強檢索器會将前五個最相關的頁面作爲參考源，讓自舉生成器生成多個答案，最終打分器選出最可能符合人類偏好的那一個作爲最終輸出。
性能超 OpenAI WebGPT
除了 WebGLM 本身，唐傑團隊此次還提出了一個網絡增強問答系統的評估标準，評估對象既包括參考文獻，也包括最終回答。
其中前者衡量相關性、信息密度、真實性（無事實錯誤）、毒性（不含暴力色情等信息）和社會偏見程度這 5 個維度；後者則衡量流暢度、正确性、引用準确性、客觀性和冗餘程度。
他們用 WebGPT（來自 OpenAI，基于 GPT-3 進行微調）演示網站提供的 272 個問題進行對比評估，并招募了 15 個學曆爲碩士的志願者打分。
最終結果如下：
（"Rel."、" Den." ……分别對應上面說的 10 個指标。）
可以看到，盡管 WebGLM 的搜索結果略遜于 WebGPT-175B，但遠好于 Perplexity.ai 和 WebGPT-13B（左邊的參考文獻評估）。
值得一提的是，WebGLM 檢索過程隻使用了一些傳統的基于單詞的算法和兩個累計參數量不超過 300M 的 Contriever。
此外，WebGLM 在計算性能和時間消耗方面也明顯優于 WebGPT-13B、并與 175B 不相上下。
而在最終結果方面，WebGLM 在流暢度、真實性和冗餘度方面均獲得最高得分，正确性指标上則接近 WebGPT-175B，遠高于 Perplexity.ai 和 WebGPT-13B。
作者表示，這表明 WebGLM 可以以更低的成本獲得更高的性能。
部署與訓練
WebGLM發布即開源。
要想部署它，需要從 SerpAPI 官網獲得一個密鑰，用于在搜索過程中獲取搜索結果。
運行該模型的方式有兩種：一是命令行界面，二是 Web 服務形式，并且包含WebGLM-2B 和 WebGLM-10B兩種可選模型。
論文地址：
https://arxiv.org/abs//2306.07906
GitHub 主頁：
https://github.com/THUDM/WebGLM
