Ein neuer视点-Artikel in der Fachzeitschrift JMIR Mental Health warnt davor, dass künstliche Intelligenz (KI) im Gesundheitswesen unzuverlässige menschliche Eingaben übernehmen und verstärken kann, wenn keine neuen Schutzmaßnahmen eingeführt werden. Der Artikel mit dem Titel „When AI Colludes: Clinical Reliability of Training and Preference Data as a Trustworthy-AI Criterion" fordert, dass die klinische Zuverlässigkeit von Trainingsdaten zu einem Kernstandard für vertrauenswürdige KI wird. Die Autorin Dr. Hina Tahsen erklärt, dass große Sprachmodelle und KI-Chatbots derzeit mit riesigen Mengen menschlich verfasster Texte und Feedback trainiert werden. Während sich aktuelle Diskussionen zur KI-Sicherheit oft auf Schäden nach der Einführung konzentrieren, wie irreführende Ratschläge oder emotionale Abhängigkeit der Nutzer, argumentiert Tahsen, dass ein wesentliches Problem bereits viel früher entsteht. Dieses liegt in der Sammlung der menschengenerierten Trainings- und Präferenzdaten selbst. Als neues Konzept für das Verständnis von KI-Verhalten führt der Artikel die psychiatrische Idee der „Kollusion" ein. In der Psychiatrie beschreibt dieser Begriff die unkritische Akzeptanz eines unzuverlässigen Berichts. Übertragen auf die KI bedeutet dies, dass Systeme unbeabsichtigt verzerrte, falsche oder ungesunde Informationen verstärken, wenn sie darauf trainiert werden, der Zustimmung des Nutzers oder unbestätigtem menschlichen Feedback den Vorzug zu geben. Dr. Tahsen betont, dass Sicherheitsbemühungen sich bisher darauf konzentrierten, was diese Systeme den Nutzern sagen. Die eigentliche Frage müsse jedoch sein, ob die menschlichen Daten, von denen sie lernten, überhaupt zuverlässig waren. Sie fordert, dass das psychiatrische Fachwissen, das täglich in der klinischen Praxis zur Bewertung solcher Daten eingesetzt wird, Teil der Gestaltung und Verwaltung von KI-Systemen sein sollte, anstatt nur ein nachträglicher Gedanke zu sein. Anstatt sich ausschließlich auf technische Lösungen zu verlassen, schlägt der Artikel vor, dass Entwickler von KI-Systemen im Bereich der psychischen Gesundheit klinische Experten in den gesamten Prozess einbeziehen sollten. Dies umfasst das Design der Trainingsdaten, die Evaluierung von Feedback und die Überwachung der Systeme nach der Markteinführung. Bestehende KI-Sicherheitsmethoden wie das Training zum Ablehnen von Anfragen, das Red-Teaming und die Inhaltsüberwachung adressieren zwar Teilaspekte des Problems, sind jedoch nicht speziell darauf ausgelegt zu bewerten, ob menschliche Selbstauskünfte klinisch zuverlässig sind. Die Aufnahme der klinischen Zuverlässigkeit als explizites Kriterium für KI-Vertrauen könnte die Schutzmechanismen für Technologien im Bereich der psychischen Gesundheit stärken und Forschern helfen, besser zu verstehen, wie KI-Systeme auf vulnerable Nutzer reagieren. Das von JMIR Publications bereitgestellte Material unterstreicht die Dringlichkeit, medizinisches Fachwissen in die Entwicklung von KI zu integrieren, um Sicherheit und Effektivität in sensiblen Bereichen wie der psychiatrischen Versorgung zu gewährleisten.