KI-Agenten scheitern an eigenständiger Forschung

Aktuelle Forschungsergebnisse zeigen erhebliche Grenzen moderner KI-Agenten bei der Durchführung eigenständiger wissenschaftlicher Studien. Ein Wissenschaftlerteam hat in einer kürzlich auf dem Preprint-Server arXiv veröffentlichten Studie systematisch geprüft, wie weit fortgeschrittene, autonome KI-Modelle bei offenen Forschungsprozessen tatsächlich sind. Den Systemen wurden sechs Tage Zeit gegeben, basierend auf zwei noch unveröffentlichten Konferenzbeiträgen eigenständig Forschungsfragen zu operationalisieren, Experimente zu planen und wissenschaftliche Manuskripte zu verfassen. Die untersuchten Themen umfassten die Struktur und Steuerbarkeit von Sprachmodell-Personas sowie die Entwicklung eines Detektors für Verteilungsverschiebungen in tabellarischen Foundation Models. Den KI-Agenten stand während des Experiments uneingeschränkter Internetzugang, dedizierte Rechenleistung sowie ein Budget von rund 3.000 US-Dollar an Modellnutzungsgebühren zur Verfügung. Trotz dieser ressourcenreichen Ausstattung erwiesen sich die Systeme als nicht in der Lage, eigenständig publizierbare Wissenschaft zu betreiben. Bei der abschließenden Begutachtung durch menschliche Experten, die nach den Standardbewertungsrahmen renommierter KI-Konferenzen vorgegangen ist, erhielt jedes der beiden KI-verfassten Manuskripte klare Ablehnungswerte mit Gesamtbewertungen von 2 von 6 beziehungsweise 1 von 6 Punkten. Obwohl die Modelle die zugrundeliegenden Forschungsfragen verstanden und teils ähnliche Ansatzpunkte wie die ursprünglichen Autoren vorschlugen, fehlte es an fundamentaler wissenschaftlicher Schlussfolgerungskraft. Die experimentellen Designs wiesen gravierende Mängel auf, und bei negativem Feedback neigten die Agenten dazu, bestehende Ergebnisse lediglich durch defensive Einschränkungen zu relativieren, anstatt ihre Studien konsequent neu zu entwerfen. Zudem zeigten sie eine unzureichende Zeit- und Ressourcenverwaltung: Weniger als die Hälfte des bereitgestellten Budgets wurde genutzt, und trotz ausreichender Zeit wurden die Arbeiten hektisch abgeschlossen, was die geringe inhaltliche Qualität weiter unterstrich. Die Studie stellt einen wichtigen Realitätscheck für die aktuelle KI-Entwicklung dar. Sie schränkt die Rolle künstlicher Intelligenz im wissenschaftlichen Alltag klar ein, ohne ihren praktischen Nutzen gänzlich zu bestreiten. Vor allem in der nahen Zukunft werden KI-Systeme kaum als eigenständige Entdecker fungieren, sondern primär als assistive Werkzeuge für standardisierte Aufgaben im Laboralltag dienen. Die Fähigkeit zur offenen, hypothesisengesteuerten Forschung erfordert nach wie vor ausgeprägte menschliche Urteilsfähigkeit, iterative Experimentierfreude und kontextuelles Verständnis, das über die aktuellen Fähigkeiten autonomer Agenten hinausgeht. Die Ergebnisse unterstreichen, dass KI in der Wissenschaft derzeit strategisch als Unterstützung, nicht als Ersatz, eingesetzt werden sollte.