IT 之家 8 月 31 日消息,一項新的同行評審研究表明,OpenAI 的 GPT-4 大語言模型無需任何額外訓練,即可通過日本國家理療考試。
最新發表在《Cureus》雜志上的新研究,測試了 GPT-4 的文字和視覺技能。
IT 之家注:日本國家物理理療師考試包括 160 道綜合題和 40 道實踐題,測試記憶、理解、應用、分析和評估能力。
研究人員在 GPT-4 中輸入了 1000 個問題,并将答案對比了官方解決方案。
GPT-4 通過了所有五個測試部分,正确回答了 73.4% 的問題。不過,人工智能在處理技術性問題和包含圖片或表格的問題時顯得有些吃力。
該模型在常規問題上的表現(正确率爲 80.1%)遠遠好于實際問題(正确率爲 46.6%)。
同樣,GPT-4 在處理純文本問題(正确率爲 80.5%)時的表現也遠好于那些帶有圖片和表格的問題(正确率爲 35.4%)。這些發現與之前有關 GPT-4 視覺理解局限性的研究結果一緻。
有趣的是,問題難度和文本長度對 GPT-4 的性能影響不大。盡管該模型主要以英語數據爲基礎進行訓練,但在使用日語輸入時也表現出色。
IT 之家附上參考地址