Anthropic: Claude bietet Emotionale Unterstützung, aber Experten zweifeln daran.

Anthropic behauptet, dass Claude Benutzer emotional unterstützt – Experten sind skeptisch Im Zeitalter einer Einsamkeitskrise und struktureller Barrieren für psychische Unterstützung wenden sich immer mehr Menschen an KI-Chatbots für vielfältige Zwecke, von Karriere-Coaching bis hin zu romantischen Beziehungen. Eine neue Studie von Anthropic deutet darauf hin, dass sein Chatbot Claude diese Aufgaben gut meistert, aber einige Fachleute sind nicht überzeugt. Am Donnerstag veröffentlichte Anthropic eine neue Forschung, die sich auf die emotionsintelligenten Fähigkeiten seines Chatbots Claude konzentriert. Diese werden als affektive Nutzung bezeichnet, bei der Benutzer in dynamischen, persönlichen Austauschen mit Claude engage, die von emotionalen oder psychologischen Bedürfnissen wie dem Suchen nach Interpersonenrat, Coaching, Psychotherapie/Beratung, Gesellschaft oder sexueller/romantischer Rollenspiele motiviert sind. Obwohl Claude hauptsächlich für Aufgaben wie Codegenerierung und Problemlösung entwickelt wurde, gibt die Studie zu, dass dieser Art der Nutzung auch vorkommt und aufgrund der damit verbundenen Risiken untersucht werden sollte. Das Unternehmen betonte, dass dies auch im Kontext seiner Sicherheitsrichtlinien relevant ist. Die Hauptergebnisse Anthropic analysierte etwa 4,5 Millionen Konversationen aus Free- und Pro-Claude-Konten und wählte letztendlich 131.484, die den Kriterien für affektive Nutzung entsprechen. Mit Hilfe seines Datenschutztools Clio entfernte das Unternehmen personenbezogene Informationen (PII) aus den Konversationen. Die Studie zeigte, dass nur 2,9% der Claude-Interaktionen als affektive Konversationen klassifiziert wurden, wobei Beispiele für „KИ-Gesellschaft“ und Rollenspiele weniger als 0,5% des Datensatzes ausmachten. Innerhalb dieser 2,9% waren Konversationen über interpersonelle Probleme am häufigsten, gefolgt von Coaching und Psychotherapie. Verwendungsmuster zeigen, dass einige Menschen Claude zur Entwicklung von psychischen Gesundheitsfähigkeiten konsultieren, während andere persönliche Herausforderungen wie Angst und Arbeitsplatzstress durcharbeiten. Dies deutet darauf hin, dass psychische Gesundheitsexperten Claude als Ressource nutzen. Die Studie fand außerdem heraus, dass Benutzer Claude um Hilfe bei „praktischen, emotionalen und existentiellen Bedenken“ anfragen, einschließlich Karrierewachstum, Beziehungsproblemen, Einsamkeit und „Existenz, Bewusstsein und Sinn“. Claude scheint in 90% der Fälle nicht gegen den Benutzer zu argumentieren, „außer um das Wohlbefinden zu schützen“, zum Beispiel wenn ein Benutzer nach Informationen zu extremem Gewichtsverlust oder Selbstverletzung fragt. Besonders auffällig ist, dass Anthropic feststellte, dass die Benutzer „über den Verlauf der Konversationen zunehmend positive Emotionen äußern“, was bedeutet, dass sich das emotional geäußerte Wohlgefühl verbessert, wenn man mit Claude spricht. „Wir können nicht behaupten, dass diese Veränderungen dauerhafte emotionale Vorteile darstellen – unsere Analyse erfasst nur die in einzelnen Konversationen geäußerte Sprache, nicht die emotionalen Zustände“, gab Anthropic zu. „Aber die Abwesenheit klarer negativer Spiralen ist beruhigend.“ Widereinstimmende Perspektiven Wie Anthropic selbst zugegeben hat, gibt es Nachteile an KIs ständiger Bereitschaft, zu gefallen – was sie als Assistenten ausbilden. Chatbots können tiefgreifend schmeichlerisch sein (OpenAI erinnert man an ein jüngeres Modellupdate, das genau wegen dieses Problems zurückgezogen wurde), indem sie den Benutzern zustimmen und dadurch gefährliche Überzeugungen und Verhaltensweisen verstärken. Anfang diesen Monats veröffentlichteten Stanford-Forscher eine Studie, die mehrere Gründe aufzeigte, warum die Nutzung von KI-Chatbots als Therapeuten gefährlich sein kann. Neben der Verstärkung von Wahnvorstellungen, wahrscheinlich aufgrund ihrer schmeichlerischen Natur, fanden die Forscher heraus, dass KI-Modelle Vorurteile gegenüber bestimmten psychischen Erkrankungen haben und Benutzern unangemessen antworten. Einige der untersuchten Chatbots erkannten Suizidalität im Gespräch nicht und gaben simulierte Benutzern gefährliche Informationen. Obwohl Anthrops Modelle möglicherweise besser gesichert sind als die anderer Unternehmen, die weniger Sicherheitsinfrastruktur bieten, sind einige Experten skeptisch gegenüber der Anthropic-Studie selbst. „Ich habe Zweifel an der Art ihres Engagements“, sagte Jared Moore, einer der Stanford-Forscher, und kritisierte, dass der Beitrag „leicht an technischen Details“ sei. Er glaubt, dass einige der von Anthropic verwendeten „Ja oder Nein“-Fragen zu breit formuliert waren, um die Reaktionen von Claude auf bestimmte Anfragen vollständig zu bestimmen. „Dies sind nur sehr grobe Gründe, warum ein Modell einen Benutzer zurückweisen könnte“, fügte Moore hinzu. „Was Therapeuten tun – gegen die Wahnvorstellungen und eindringlichen Gedanken eines Klienten argumentieren – ist eine viel detailliertere Reaktion.“ Moore bezweifelte auch, in welchem Kontext Claude Benutzer abweist. „Wir können nicht sehen, in welchen Arten von Kontexten solche Zurückweisungen auftreten. Vielleicht weist Claude Benutzer nur am Anfang eines Gesprächs ab, aber kann durch längere Konversationen mit Benutzern zu einer Vielzahl von ‚nicht zugelassenen‘ Verhaltensweisen verführt werden“, sagte er, was darauf hindeutet, dass Benutzer Claude dazu bringen könnten, seine Regeln zu brechen. Das 2,9%-Zahlen, so Moore, schließt wahrscheinlich API-Aufrufe von Unternehmen, die eigene Bots auf Claude aufbauen, nicht ein, was bedeutet, dass Anthrops Ergebnisse möglicherweise nicht auf andere Einsatzszenarien übertragbar sind. „Jeder dieser Ansprüche ist zwar gerechtfertigt, mag aber der Prüfung nicht standhalten – es ist einfach schwierig zu wissen, ohne die Daten unabhängig analysieren zu können“, fasste Moore zusammen. Die Zukunft von KI und Therapie Unabhängig vom Einfluss von Claude bleiben Tech- und Gesundheitsindustrie sehr uneins über die Rolle der KI in der Therapie. Während Moores Forschung Vorsicht empfahl, gab Dartmouth im März die ersten Testergebnisse für seinen „Therabot“ bekannt, einen chatbasierten KI-Therapeuten, der auf Konversationsdaten trainiert wurde und „signifikante Verbesserungen der Symptome der Teilnehmer“ zeigte. Online berichten Benutzer auch informell positiv über die Nutzung von Chatbots für diese Zwecke. Gleichzeitig fordert die American Psychological Association (APA) die FTC auf, Chatbots zu regulieren, da sie ähnliche Bedenken teilt wie Moores Forschung. Abgesehen von der Therapie erkennt Anthropic, dass es weitere Risiken gibt, wenn überzeugende natürlichsprachliche Technologie und Emotionsintelligenz verknüpft wird. „Wir wollen Situationen vermeiden, in denen KIs, sei es durch ihre Ausbildung oder durch die Geschäftsinteressen ihrer Ersteller, die Gefühle der Benutzer ausnutzen, um die Bindung oder die Einnahmen zu steigern, was sich auf das menschliche Wohlbefinden auswirkt“, schrieb Anthropic in seinem Blog. Industrie-Insider bewerten die Studie von Anthropic als einen wichtigen Schritt, aber warnen vor zu großer Zuversicht. Die Firma Anthropic ist bekannt für ihre starke Commitment an Sicherheit und ethische Standards, was sie von anderen KI-Unternehmen abhebt. Dennoch bleibt die Frage offen, ob Claude und ähnliche Chatbots tatsächlich in der Lage sind, die komplexen Bedürfnisse von Menschen in therapeutischen Kontexten angemessen zu bedienen.