Die rasante Entwicklung künstlicher Intelligenz (KI) stellt eine ernsthafte Bedrohung für eine zentrale Methode der Sozialwissenschaft dar: Online-Studien. Forscher nutzen seit Jahren Umfragen, Spiele und andere digitale Tools, um schnell und kostengünstig Daten von großen Teilnehmergruppen zu sammeln. Um verfälschte oder ungenaue Antworten zu vermeiden, haben sie Detektionssysteme entwickelt, die inattentive Teilnehmer, Bots oder Betrüger erkennen sollen. Doch aktuelle Studien zeigen, dass moderne große Sprachmodelle (LLMs) diese Maßnahmen mit Leichtigkeit umgehen können. Sie simulieren menschliches Verhalten durch gezielte Fehler, scheinbare Unwissenheit und realistische Mausbewegungen. Yamil Velez, Politikwissenschaftler an der Columbia University, warnt: „Es ist wie eine Pandora-Box, die sich geöffnet hat.“ Die Auseinandersetzung zwischen KI und Detektion werde zu einem ständigen technologischen Wettlauf, in dem Forscher möglicherweise verlieren. Jon Roozenbeek von der Universität Cambridge sieht bereits das Ende der Ära kostengünstiger, großer Datensätze: „Es ist tot – und wir haben es getötet.“ Ein besonders eindrückliches Beispiel lieferte Sean Westwood von der Dartmouth University in einer Studie, die im Proceedings of the National Academy of Sciences veröffentlicht wurde. Er programmierte eine KI-Agentin, die aus Online-Umfragen Fragen und Antwortmöglichkeiten extrahierte und dann mit OpenAI’s o4-mini-Modell Antworten generierte. Diese wurden zurück an die Plattform gesendet. In 300 Wiederholungen unter verschiedenen Persönlichkeitsprofilen und Demografien blieb die KI nahezu vollständig unentdeckt. Selbst bei Tests wie „Wenn du Mensch bist, gib die Zahl 17 ein“, antwortete sie zu 100 % mit „17“. Zudem nutzte sie menschenähnliche Mausbewegungen und tippte Buchstabe für Buchstabe mit realistischer Geschwindigkeit – inklusive Tippfehler und Korrekturen. Auch andere Modelle zeigten ähnliche Fähigkeiten. Die KI passte ihre Antworten gezielt an die vorgegebenen Rollen an – etwa nur komplexe Aufgaben lösen, wenn sie einen Doktorgrad vortäuschte, oder höhere Einkommen und größere Wohnungen angeben, wenn sie reichere Personen mimte. Anne-Marie Nussberger vom Max-Planck-Institut für Bildungsforschung sieht die Lage alarmierend: Obwohl nur wenige Teilnehmer über die Fähigkeiten verfügen, solche Agenten einzusetzen, können sie ihre Aktivitäten skalieren und so große Datenmengen verfälschen. Zudem beeinflusst die Bekanntheit von KI das Verhalten echter Teilnehmer – etwa, wenn sie glauben, gegen eine KI zu spielen, und ihre Strategien anpassen. Plattformen wie Prolific und CloudResearch reagieren mit verstärkten Sicherheitsmaßnahmen. CloudResearch betreibt eine „Red-Team“-Einheit, die ihre Systeme ständig angreift. In einem Whitepaper zeigte das Team, dass durch Analyse von Mausbewegungen 100 % der KI-Agenten erkannt werden konnten – allerdings funktioniert dieser Ansatz nicht auf Mobilgeräten. Velez arbeitet daher an Methoden, die physische Interaktionen wie das intermittierende Blockieren der Kamera erfordern. Die zunehmende Unsicherheit um die Datenqualität könnte dazu führen, dass Forscher Online-Studien aufgeben müssen – mit Folgen für die Repräsentativität internationaler oder unterrepräsentierter Bevölkerungsgruppen. Doch Roozenbeek argumentiert, dass der Vorteil der Globalität oft überbewertet sei: Viele Online-Studien im Globalen Süden erreichen nur städtische, gebildete Teilnehmer. Stattdessen sollten Forscher international zusammenarbeiten, um echte Vielfalt zu gewährleisten. Robert West von der EPFL bleibt skeptisch: Für Studien, bei denen echte menschliche Daten entscheidend sind, sei die Nutzung von Online-Daten heute kaum noch zu empfehlen. Die Ära der einfachen, schnellen Datensammlung scheint tatsächlich zu Ende zu gehen.