Benchmark offenbart KI-Bias in Expertenempfehlungen

Eine aktuelle Forschungsreihe des Complexity Science Hub unter Leitung der Wissenschaftlerin Lisette Espín-Noboa aufdeckt strukturelle Verzerrungen in großen Sprachmodellen, wenn diese als Empfehlungssysteme für Fachexpertise eingesetzt werden. Die Studie untersucht die Leistung von 22 verschiedenen LLMs bei der Vorschlagung von Wissenschaftlern im Fachbereich Physik. Als Referenzgrundlage diente ein Datenbestand von über 450.000 in der American Physical Society publizierenden Forschenden zwischen 1893 und 2020. Die Ergebnisse zeigen erhebliche Mängel in der technischen Qualität und sozialen Repräsentation. Im Durchschnitt wurden Fachgebiete bei vierzig Prozent der Empfehlungen falsch zugeordnet. Die Modelle bevorzugten eindeutig männliche, seniorierende und stark zitierte Wissenschaftler aus den Vereinigten Staaten. Frauen wurden systematisch unterrepräsentiert, in Teilbereichen sogar vollständig ausgelassen. Ethnische Minderheiten waren häufig nicht vertreten, während weiße Forschende überproportional häufig genannt wurden. Die faktische Genauigkeit lag zwischen sechzig und achtzig Prozent, wobei komplexere Aufgaben wie die Bewertung des akademischen Grades die Fehlerquote weiter ansteigen ließen. Um die Leistungen systematisch zu vergleichen, entwickelten die Forschenden die Bewertungsplattform LLMScholarBench. Sie misst die Qualität anhand von neun Indikatoren, die technische Genauigkeit und soziale Gerechtigkeit abbilden. Die Analysen belegen einen direkten Zielkonflikt bei Nutzerinterventionen: Retrieval-Augmented Generation verbessert die faktische Richtigkeit, verschlechtert aber gleichzeitig die Diversität. Umgekehrt führt gezieltes Prompt-Engineering zu ausgewogeneren Gruppenverteilungen, opfert dabei aber oft die fachliche Präzision. Selbst die Kombination beider Methoden beseitigt den Zielkonflikt nicht. Die geografische Eingrenzung im Prompt beeinflusste die Empfehlungen signifikant, während Sprache und Rolle keinen nachweisbaren Effekt hatten. Die Forschenden stellen fest, dass die beobachteten Verzerrungen struktureller Natur und nicht modellabhängig sind. Das Internet überträgt lediglich bestehende gesellschaftliche Ungleichheiten in die KI-Modellierung. Neben den akademischen Implikationen warnen die Autoren vor weitreichenden Folgen für den Berufsalltag, da LLMs zunehmend auch bei der Suche nach Ärztinnen, Anwälten oder Führungskräften eingesetzt werden. Mit LLMScholarBench steht nun ein offenes Benchmark-Tool zur Verfügung, das Entwicklern die Prüfung von Empfehlungssystemen unabhängig von der Architektur ermöglicht. Die Erkenntnisse wurden auf dem KDD 2026 vorgestellt und liegen aktuell als Preprints vor.