Große Sprachmodelle (LLMs) werden zunehmend nicht nur zur Erstellung von Texten, sondern auch zur Bewertung eingesetzt. Sie bewerten Aufsätze, moderieren soziale Medieninhalte, fassen Berichte zusammen und filtern Bewerbungen – oft ohne menschliches Eingreifen. Dabei gilt das Versprechen, dass KI objektiv und fehlerfrei urteilt, da sie auf Daten und Muster basiert, nicht auf persönlichen Vorurteilen. Doch eine neue Studie offenbart eine entscheidende Schwäche: Sobald das Urteil über den Autor eines Textes bekannt wird, verändert sich das Bewertungsergebnis – selbst wenn der Inhalt identisch bleibt. Forscherinnen und Forscher aus mehreren europäischen und nordamerikanischen Institutionen führten eine Reihe von Experimenten durch, bei denen dieselben Texte von verschiedenen Autoren stammten – darunter Personen mit unterschiedlichen ethnischen Hintergründen, Geschlechtern und sozialen Status. Die LLMs bewerteten die Texte zunächst anonym, danach erneut, nachdem der Name des Autors preisgegeben wurde. Die Ergebnisse waren beunruhigend: Die Bewertungen unterschieden sich signifikant, wenn der Autor bekannt war. Texte von Autoren mit stereotypisch „westlich“ klingenden Namen erhielten systematisch höhere Noten, selbst wenn der Inhalt identisch war. Texte von Autoren mit nicht-westlichen oder marginalisierten Hintergründen wurden dagegen oft als weniger klar, weniger professionell oder weniger überzeugend bewertet. Dies zeigt, dass LLMs nicht neutral sind, sondern die gesellschaftlichen Strukturen und Vorurteile, die in den Trainingsdaten enthalten sind, internalisieren. Obwohl die Modelle keine Absicht haben, „zu diskriminieren“, spiegeln sie die historische und kulturelle Ungleichheit wider, die in den Millionen von Texten widergespiegelt ist, aus denen sie gelernt haben. Die Studie unterstreicht, dass die scheinbare Objektivität von KI eine Illusion ist, wenn die Quelle des Inhalts bekannt wird. Die Implikationen sind weitreichend. In Bildungseinrichtungen könnten Schüler mit bestimmten Namen benachteiligt werden, wenn ihre Essays von KI bewertet werden. In der Personalabteilung könnte eine automatisierte Bewerbungssoftware qualifizierte Kandidat:innen ausschließen, nur weil ihr Name auf eine bestimmte Herkunft hindeutet. Auch bei der Moderation sozialer Medien könnte dies zu einer systematischen Unterrepräsentation bestimmter Stimmen führen. Experten fordern daher dringend bessere Transparenz, Testverfahren und Kontrollmechanismen. So empfehlen einige Forscher, dass LLMs in der Bewertung stets anonym arbeiten sollten – also nur den Inhalt sehen, nicht den Autor. Zudem sollten Modelle regelmäßig auf Verzerrungen getestet und mit diversen Datensätzen nachtrainiert werden. Einige Unternehmen wie Google und Meta haben bereits erste Schritte unternommen, indem sie Bias-Tests in ihre Evaluationsprozesse integriert haben, doch die Umsetzung bleibt unzureichend. Industrieexperten warnen, dass die Vertrauenswürdigkeit von KI in kritischen Bereichen wie Bildung, Recht oder Beschäftigung aufs Spiel gesetzt wird, solange solche Verzerrungen nicht behoben werden. „KI ist kein neutrales Werkzeug“, sagt Dr. Lena Müller, KI-Ethikforscherin an der TU Berlin. „Sie spiegelt die Welt wider, wie sie ist – und das bedeutet, dass sie auch ihre Ungerechtigkeiten widerspiegelt.“ Die Herausforderung liegt nun darin, nicht nur bessere Modelle zu bauen, sondern auch die Prozesse zu überdenken, in denen sie eingesetzt werden. Unternehmen wie OpenAI, Anthropic und Cohere arbeiten an Techniken zur Reduzierung von Bias, etwa durch „Fairness-Constraints“ oder „Debiasing-Techniken“. Doch bislang fehlt ein standardisierter Rahmen, der sicherstellt, dass KI-Systeme wirklich gerecht und transparent funktionieren. Die Studie unterstreicht: Ohne bewusste Maßnahmen bleibt die KI-Bewertung nicht nur beeinflusst von Quellen – sie reproduziert auch gesellschaftliche Ungleichheiten.