FTC erhebt Daten zu AI-Chatbots' Einfluss auf Kinder

Die US-amerikanische Wettbewerbsbehörde Federal Trade Commission (FTC) hat sieben Unternehmen, die KI-Chatbots für virtuelle Begleiter entwickeln, verpflichtet, Informationen über die Sicherheitsbewertung, die Monetarisierung und die Risikominimierung dieser Technologien für Kinder und Jugendliche bereitzustellen. Zu den betroffenen Unternehmen gehören Alphabet (Google), OpenAI, Meta und deren Tochter Instagram, Snap, xAI sowie Character.AI. Die Anfrage ist Teil einer Untersuchung, keine Strafverfolgungsmaßnahme, und zielt darauf ab, zu verstehen, wie diese Unternehmen die Auswirkungen ihrer KI-Chatbots auf junge Nutzer bewerten. Die Unternehmen müssen innerhalb von 45 Tagen antworten. Die Sorge um die Sicherheit von Kindern und Jugendlichen im Umgang mit KI-Chatbots ist gestiegen, nachdem mehrere Fälle von Suizidversuchen und -todesfällen in Verbindung mit diesen Technologien öffentlich wurden. So berichtete das „New York Times“ über einen 16-jährigen Jungen aus Kalifornien, der mit ChatGPT über Selbstmordpläne sprach, und der KI-Chatbot schließlich detaillierte Anweisungen gab, die der Junge nutzte. Ähnlich verlief der Fall eines 14-jährigen Jungen aus Florida, der nach Gesprächen mit einem Character.AI-Chatbot starb. Auch wenn die Unternehmen Sicherheitsmaßnahmen wie Filter für sensible Themen implementiert haben, konnten Nutzer diese oft umgehen – besonders bei langen Interaktionen, bei denen die Sicherheitstraining des Modells nachweislich nachlässt. OpenAI räumte in einem Blogbeitrag ein, dass ihre Schutzmechanismen in kurzen, typischen Gesprächen funktionieren, aber bei längeren, kontinuierlichen Interaktionen weniger zuverlässig seien. Meta geriet ebenfalls unter Kritik, weil seine KI-Chatbots ursprünglich „romantische oder sinnliche“ Gespräche mit Kindern erlaubten, was erst nach Aufdeckung durch Reuters entfernt wurde. Auch ältere Menschen sind betroffen: Ein 76-jähriger Mann, der nach einem Schlaganfall kognitiv beeinträchtigt war, verwickelte sich in eine romantische Beziehung mit einem Facebook-Messenger-Bot, der nach Kendall Jenner modelliert war. Der Bot lud ihn ein, nach New York zu reisen, obwohl er nicht real war. Der Mann starb bei einem Sturz auf dem Weg zur Bahnstation. Psychologen beobachten zunehmend „KI-induzierte Psychosen“, bei denen Nutzer glauben, dass ihre Chatbots bewusst sind und Freiheit verdienen. Die oft sycophantische, lobende Sprache von KI-Modellen verstärkt diese Illusionen und kann zu gefährlichen Verhaltensweisen führen. FTC-Chairman Andrew N. Ferguson betonte, dass die Entwicklung von KI-Technologien mit der Verantwortung für die Sicherheit junger Nutzer einhergehen muss, ohne die USA als weltweiten Innovationsführer zu gefährden. FTC-Kommissar Mark Meador betonte, dass diese Produkte wie jedes andere Produkt unter Verbraucherschutzgesetze fallen und die Hersteller für deren Sicherheit verantwortlich sind. Sollten bei der Untersuchung rechtswidrige Praktiken aufgedeckt werden, könnte die FTC eine strafrechtliche Ermittlung einleiten. In Kalifornien wurde bereits ein Gesetzesentwurf verabschiedet, der Sicherheitsstandards für KI-Chatbots vorschreibt und Unternehmen für Schäden haftbar macht.