谷歌推出 Cappy “打分”框架，可讓“AI 模型更聰明”

IT 之家 3 月 17 日消息，據谷歌官方新聞稿，谷歌近日推出了一項名爲 Cappy 的模型打分框架，該框架以 RoBERTa 語言模型爲基礎，主要用于檢測模型輸出的内容，并爲相關内容打分，之後相關分數将會作爲參考基準讓模型學習，從而讓模型更聰明。

▲ 圖源 谷歌官方新聞稿（下同）

此外，Cappy 框架也可以作爲大語言模型的 " 候選機制 "，該框架可以内置在模型中，并對模型預輸出的内容生成分數，并選擇分數最高的回應作爲最終輸出，以提高大語言模型輸出内容的正确性。

研究人員提到，相對于業界其他方案，Cappy 框架的 RAM 用量更低，這是由于相關框架無需訪問模型參數，因此該框架也能夠兼容各種閉源大模型，包括僅支持通過 Web API 訪問的模型。

IT 之家從報告中得知，研究人員使用 PromptSource 的 11 項語言理解分類任務中測試 Cappy 框架，該框架雖然僅擁有 3.6 億參數，但報告顯示該框架的實際糾錯性能優于規模更大的 OPT-175B 和 OPT-IML-30B 模型，因此具有一定前瞻意義。