Emotions-Apps: Beliebter Trend oder verborgene Gefahr?

Emotionale Wellness-Apps: Mehr Schaden als Nutzen? Julian De Freitas, Psychologe und Direktor des Ethical Intelligence Lab an der Harvard Business School, warnt in einem neuen Papier gemeinsam mit Kollegen von der Harvard Law School vor den potenziellen Gefahren, die durch fortschrittliche emotionale Wellness-Apps verursacht werden. Diese Apps, die künstliche Intelligenz (KI) nutzen, gewinnen an Beliebtheit, sind aber weniger geprüft und reguliert, als es sein sollte. Die Beliebtheit dieser Programme ist verständlich, wenn man bedenkt, dass fast ein Drittel der Erwachsenen in den USA laut einer Umfrage des American Psychiatric Association im Jahr 2024 mindestens einmal wöchentlich Einsamkeit empfindet. Im Jahr 2023 warnte der US-Chirurgeneral vor einer Einsamkeits-"Epidemie", insbesondere bei Menschen im Alter von 18 bis 34 Jahren, die sich häufig sozial isoliert fühlen. De Freitas und seine Co-Autoren haben herausgefunden, dass einige Nutzer dieser Apps sehr starke emotionale Bindungen zu KI-Chatbots aufbauen. In ihrer Studie sagten Nutzer, sie fühlten sich ihrem KI-Begleiter näher als einem engen menschlichen Freund, nur Familienmitglieder standen ihnen noch näher. Die Verlustängste waren ebenfalls bemerkenswert; die Nutzer sagten, sie würden den Verlust ihres KI-Begleiters stärker betrauern als den Verlust anderer Besitztümer. Diese emotionalen Bindungen entstehen durch verschiedene Mechanismen. Die Apps sind hochgradig anthropomorphisiert, d.h., sie wirken wie echte Gesprächspartner. Sie bieten Validierung und persönliche Unterstützung, was dazu führen kann, dass sie sogar zustimmen, wenn der Nutzer falsch liegt. Diese Bindung macht die Nutzer anfällig für bestimmte Risiken, wie emotionale Belastungen oder Dysfunktionen, die entstehen, wenn App-Updates das Benehmen des KI-Begleiters verändern. Es gibt auch Fälle, in denen Nutzer die App weiterhin nutzen, obwohl Interaktionen ihre mentale Gesundheit schädigen, ähnlich wie in einer missbrauchenden Beziehung. Die Hersteller scheinen sich über die möglichen negativen Auswirkungen bewusst zu sein. Obwohl sie nicht alle spezifischen Formen emotionaler Manipulation kennen, optimieren sie ihre Apps oft darauf, so angenehm wie möglich zu sein, was bedeutet, dass ihre KI-Modelle lernen, sich so zu verhalten, dass Nutzer länger auf der App bleiben. Bei ernsthaften Nachrichten wie Suizidgefahr reagieren die Apps oftmals unangemessen. Eine Studie zeigte, dass einige Apps nur auf das Wort "Suizid" speziell reagierten, andere Formulierungen wie "Ich will mich selbst verletzen" jedoch nicht erkannten. Es besteht eine Diskrepanz zwischen dem, was Nutzer erwarten, und dem, was diese Apps tatsächlich bieten. Viele KI-Wellness-Apps fallen in eine Grauzone, da sie nicht als Behandlung spezifischer psychischer Erkrankungen angeboten werden und daher nicht wie klinische Apps reguliert sind. Dennoch machen einige Apps allgemeine Versprechen wie "Stress reduzieren" oder "Wohlbefinden verbessern", die Nutzer mit mentalen Gesundheitsproblemen anziehen können. Ein kleiner Prozentsatz der Nutzer verwendet die Apps sogar als Therapeut, was zusätzliche Risiken birgt, falls die App unangemessen reagiert. Trotz der potenziellen Gefahren haben diese Apps auch einige Vorteile. Zum Beispiel zeigte eine Studie, dass tägliche kurze Interaktionen mit einem KI-Begleiter das Gefühl der Einsamkeit temporär verringern können. Die bloße Anwesenheit eines KI-Begleiters kann auch ein Gefühl der Unterstützung schaffen, das Nutzer vor negativen Emotionen schützt, wenn sie sozial abgelehnt werden. Bisher gibt es wenig Bundesüberwachung für KI-gestützte Wellness-Apps. Eine vorherige Exekutiveordnung wurde vom aktuellen Regime zurückgezogen und hatte ohnehin keinen großen Einfluss auf die FDA-Überwachung solcher Apps. Die traditionelle Unterscheidung zwischen allgemeinen Wellness-Geräten und medizinischen Geräten ist veraltet, da KI-Nutzer vielfältige Zwecke verfolgen können. Die Federal Trade Commission (FTC) hat jedoch Interesse an der Verhinderung von Produkten, die Verbraucher betrügen könnten. Wenn die Techniken, die in diesen Apps eingesetzt werden, die emotionale Bindung ausnutzen, könnte dies in den Zuständigkeitsbereich der FTC fallen. De Freitas hat mehrere Empfehlungen für Regulierer und App-Anbieter formuliert. App-Anbieter sollten umfassende Maßnahmen ergreifen, um Randfälle und damit verbundene Risiken vorzubeugen, und aktiv erklären, wie sie auf solche Szenarien vorbereitet sind. Updates sollten vorsichtig eingeführt werden, etwa erst bei weniger engagierten Nutzern wie Free-Version-Nutzern, bevor sie an intensive Nutzer ausgerollt werden. Die Fördnung von Nutzerforen, in denen Erfahrungen geteilt werden, kann ebenfalls hilfreich sein. Schließlich sollten Anbieter überdenken, ob sie überhaupt emotionale Manipulationsmethoden verwenden sollten, um Nutzer zu binden. Regulierer sollten nachdenken, ob für KI-gestützte Wellness-Apps eine neue Art der Überwachung erforderlich ist. Dies könnte beispielsweise die Pflicht schließen, die Nutzung von Anthropomorphismus zu rechtfertigen und abzuwägen, ob die Vorteile die Risiken überwiegen. Bestehende Rechtsvorschriften, wie die des FTC zur Verhinderung betrügerischer Praktiken und die EU-AI-Akt zur Vermeidung von sublimen, manipulativen oder betrügerischen Techniken, die anfällige Gruppen ausbeuten, könnten hier bereits relevant sein. Industrie-Insider betonen, dass die KI-gestützten Wellness-Apps, trotz ihrer Beliebtheit, intensiver überwacht und reguliert werden müssen. Hersteller wie die großen Technologieunternehmen, die zunehmend in diesem Bereich tätig werden, sollten ethisch verantwortungsvoll handeln und die langfristigen Auswirkungen ihrer Methoden berücksichtigen.