Rishub Jain Sophie Bridgers Lili Janzer Rory Greig Tian Huey Teh Vladimir Mikulik

要約

人間のフィードバックは、AIシステムを人間の価値観に整合させる上で不可欠である。AIの能力が向上し、より困難なタスクにAIが活用されるようになるにつれて、品質および安全性の検証はますます困難になってきている。本論文では、AIを活用して人間の監視品質を向上させる方法について考察する。特に、すでに人間にとって難しいとされている問題――AI出力の事実検証――に焦点を当てる。我々の調査から、AIによる評価と人間による評価を、AI評価者の信頼度に基づいて統合する方が、いずれか一方に依存するよりも優れていることが明らかになった。人間にAIによる事実検証アシスタントを提供することで、人間の正確性がさらに向上するが、その支援の形態が重要であることがわかった。AIによる説明、信頼度、ラベルを提示すると過度な依存が生じる一方で、検索結果と証拠のみを提示することで、より適切な信頼関係が構築されることが明らかになった。これらの結果は、「拡張された監視（Amplified Oversight）」――人間とAIを組み合わせてAIシステムを監視するという課題――に重要な示唆を与える。特に、人間の専門家レベルをすでに超える性能を持つAIシステムに対しても、その監視をいかに実現するかという点において。