HyperAIHyperAI

Command Palette

Search for a command to run...

vor einem Monat
Generative KI
Anthropic

KI-generierte Fake-Zitationen fluten Forschung

Wissenschaftler warnen davor, dass wissenschaftliche Publikationen zunehmend mit von KI generierten, falschen Zitaten überflutet werden. Die rasante Adoption von Large Language Models im wissenschaftlichen Schreiben führt zu einer scharfen Zunahme nicht existierender Referenzen, die das Fundament der Forschung untergraben. Eine kürzlich auf dem Preprint-Server arXiv veröffentlichte Studie untersuchte diese Problematik im Detail und deckte ein alarmierendes Ausmaß auf. Die Forscher untersuchten Millionen von Papers auf vier großen wissenschaftlichen Repositorien: arXiv, bioRxiv, SSRN und PubMed Central. Die Analyse bezog sich ausschließlich auf das Jahr 2025 und identifizierte schätzungsweise 146.900 sogenannte Halluzinationen – also Zitationen, die in Wirklichkeit nicht existieren. Dabei handelt es sich weder um vereinzelte Vorkommnisse einzelner schlechter Autoren, noch um zufällige Fehler. Stattdessen zeigt sich ein breites Muster, bei dem zahlreiche Forscher KI-generierte Texte nutzen, ohne die Ergebnisse ausreichend auf Fakten basiertheit zu prüfen. Da sich wissenschaftlicher Fortschritt auf den Aufbau früherer Erkenntnisse stützt, gefährden solche Falschinformationen die Zuverlässigkeit der gesamten Wissenschaft. Generative KI-Modelle sind darauf trainiert, Textmuster vorherzusagen, anstatt Fakten zu verifizieren. Dies führt dazu, dass die Systeme plausible, aber völlig fingierte Studien, Quellen oder sogar Forscher existieren lassen, nur um eine logisch klingende Passage zu vervollständigen. Bisherige Studien zu diesem Phänomen waren oft auf kleine Labortests beschränkt. Die vorliegende Arbeit stellte hingegen erstmals das tatsächliche Ausmaß in der wissenschaftlichen Literatur fest. Das Forschungsteam führte eine großangelegte Überprüfung von 111 Millionen Referenzen aus 2,5 Millionen wissenschaftlichen Arbeiten durch. Mittels einer Kombination aus automatisierten und manuellen Prüfungen suchten sie nach Titeln, die keiner echten Publikation zugeordnet werden konnten. Obwohl über 95 Prozent der Referenzen erfolgreich verifiziert werden konnten, blieben signifikante Lücken. Um den Einfluss von KI zu isolieren, verglichen die Forscher die Quote falscher Zitate mit Daten aus der Zeit vor 2023, bevor große Sprachmodelle wie ChatGPT und Gemini populär wurden. Die Ergebnisse zeigen einen drastischen Anstieg nicht existierender Zitate ab Mitte 2024. Besonders betroffen sind junge Wissenschaftler und kleine Teams. Paradoxerweise stieg die Produktivität dieser Gruppen durch den Einsatz von KI um etwa das Dreifache, wobei sie gleichzeitig häufiger falsche Quellen zitieren. Ein weiteres beunruhigendes Muster betraf die Vergabe von wissenschaftlicher Anerkennung: Halluzinierte Referenzen verewigten überproportional etablierte und männliche Forscher, was bestehende Ungleichheiten in der wissenschaftlichen Gemeinschaft weiter verstärken könnte. Die Studie deckt zudem gravierende Lücken in den bestehenden Sicherheitsmechanismen auf. Vorab-Filterung, Journal-Redaktionen und Peer-Review-Verfahren fangen nur einen winzigen Bruchteil dieser Fehler ab. Obwohl das arXiv-Netzwerk bestimmte Probleme filtert, schafften schätzungsweise 78,8 Prozent der nicht existierenden Zitate den Weg in die Plattform. Ohne sofortige Eingriffe droht die Infiltration der Wissensproduktion in großem Stil, was nicht nur die Zuverlässigkeit der Forschung, sondern auch ihre Gerechtigkeit bedroht. Die Konsequenzen könnten weit in die Politik und das öffentliche Verständnis hineinreichen, wenn diese Entwicklung nicht gestoppt wird.

Verwandte Links