Illinois verbietet KI in der psychischen Gesundheitsversorgung

Illinois hat kürzlich die Nutzung künstlicher Intelligenz (KI) in der psychischen Gesundheitsversorgung eingeschränkt und ist damit den Bundesstaaten Utah und Nevada gefolgt. Laut dem neuen Gesetz dürfen KI-Unternehmen keine Dienstleistungen anbieten, die darauf abzielen, psychische oder Verhaltensgesundheitsstörungen zu diagnostizieren, zu behandeln oder zu verbessern – es sei denn, diese Maßnahmen werden von einem zugelassenen Arzt durchgeführt. Die Regelung zielt darauf ab, die Sicherheit und Wirksamkeit der Therapie zu gewährleisten, da KI-Systeme bislang nicht ausreichend validiert sind, um eigenständig komplexe psychische Zustände zu bewerten oder therapeutische Entscheidungen zu treffen. Insbesondere bei sensiblen Themen wie Depressionen, Angststörungen oder Suizidgefährdung birgt die Nutzung von KI ohne menschliche Aufsicht erhebliche Risiken, darunter falsche Diagnosen, unangemessene Empfehlungen oder das Versäumnis, akute Krisen zu erkennen. Dr. Gail Salts, Associate Professor für Psychiatrie am New York Presbyterian Hospital und der Weill Cornell School of Medicine, erklärte gegenüber CBS News, dass KI zwar als unterstützendes Werkzeug in der psychischen Gesundheitsversorgung Potenzial habe – etwa bei der Analyse von Sprachmustern oder der Überwachung von Stimmungsschwankungen über Apps –, aber keine Ersatz für qualifizierte Fachkräfte sei. Sie betonte, dass der menschliche Faktor, einschließlich Empathie, klinischer Urteilskraft und ethischer Einschätzung, nicht durch Algorithmen ersetzt werden könne. Zudem weist sie auf die Probleme mit Datensicherheit, Bias in Trainingsdaten und fehlende Transparenz bei KI-Entscheidungen hin, die besonders bei vulnerablen Patientengruppen gravierende Folgen haben könnten. Die neuen Vorschriften in Illinois, Utah und Nevada markieren einen wichtigen Schritt in der regulatorischen Auseinandersetzung mit der zunehmenden Digitalisierung der psychischen Gesundheitsversorgung. Während KI-Apps und Chatbots in der Vergangenheit als kostengünstige, skalierbare Lösungen für den Zugang zu Therapie angepriesen wurden, gewinnen Bedenken über ihre Wirksamkeit und ethische Konsequenzen zunehmend an Gewicht. Die Gesetze sollen sicherstellen, dass Patienten nicht durch automatisierte Systeme überfordert oder schädlich beeinflusst werden. Industrieexperten sehen die Regelungen als notwendigen Ausgleich zwischen Innovation und Schutz. „KI kann helfen, Therapeuten zu unterstützen, aber sie darf nicht die Verantwortung übernehmen“, sagte ein Vertreter der American Psychiatric Association. Unternehmen wie Woebot oder Ginger, die KI-basierte Therapieanwendungen anbieten, müssen nun ihre Geschäftsmodelle anpassen oder auf die Zusammenarbeit mit zugelassenen Fachkräften setzen. Die Entwicklung von KI in der Psychiatrie bleibt weiterhin aktiv, doch die regulatorische Landschaft wird zunehmend strenger – besonders in Bereichen, die direkten Einfluss auf das Wohlbefinden und die Sicherheit von Menschen haben.