Menschliches Feedback ist entscheidend, um KI-Systeme menschlichen Werten anzupassen. Mit der zunehmenden Leistungsfähigkeit von KI und deren Einsatz bei anspruchsvolleren Aufgaben wird die Überprüfung von Qualität und Sicherheit immer herausfordernder. In diesem Paper untersuchen wir, wie wir KI nutzen können, um die Qualität menschlicher Überwachung zu verbessern. Wir konzentrieren uns auf ein zentrales Sicherheitsproblem, das bereits für Menschen schwierig ist: die Faktenüberprüfung von KI-Ausgaben. Wir stellen fest, dass die Kombination von KI-Bewertungen und menschlichen Bewertungen basierend auf dem Vertrauen der KI-Bewerter besser ist als die Nutzung einer der beiden Quellen allein. Die Bereitstellung eines KI-Unterstützungstools zur Faktenüberprüfung erhöht die Genauigkeit der Menschen weiter, wobei jedoch die Art der Unterstützung entscheidend ist. Die Anzeige von KI-Erklärungen, Vertrauenswerten und Etiketten führt zu einer übermäßigen Abhängigkeit, während lediglich die Darstellung von Suchergebnissen und Belegen ein angemesseneres Vertrauen fördert. Diese Ergebnisse haben Implikationen für das Konzept des „Amplified Oversight“ – der Herausforderung, Menschen und KI zusammenzuführen, um KI-Systeme zu überwachen, selbst wenn diese die Leistung menschlicher Experten übersteigen.