LLM-Modelle bewerten Neuheit von KI-Ideen inkonsistent
Das Allen Institute for Artificial Intelligence hat den Bericht Old Ideas, Novel Problems veröffentlicht, in dem untersucht wird, wie zuverlässig große Sprachmodelle die Neuheit wissenschaftlicher Forschungsideen bewerten können. Der Bericht wird von einem neuen Benchmark, Daten und Code begleitet, mit denen sich sogenannte Novelty Judge evaluieren lassen. Zusätzlich stellt Ai2 eine automatisierte Pipeline bereit, mit der Forschende eigene Testdatensätze auf Basis von Peer Reviews aufbauen können. Hintergrund ist die wachsende Rolle von KI-Systemen in der wissenschaftlichen Entdeckung. Ai2 entwickelt Ansätze wie DataVoyager, AutoDiscovery, Theorizer und Asta, die beim Durchsuchen bestehender Literatur, beim Formulieren von Hypothesen oder beim Vorschlagen neuer Forschungsrichtungen unterstützen sollen. Für eine belastbare Automatisierung reicht es jedoch nicht, plausible Ideen zu generieren. Systeme müssen auch erkennen können, ob ein Vorschlag tatsächlich originell ist oder nur bekannte Arbeit neu verpackt. Häufig wird diese Bewertung an ein weiteres Sprachmodell delegiert, den Novelty Judge. Bisher fehlen jedoch einheitliche Standards für Modellwahl, Prompting, Recherche, Reasoning und Auswertungsformat. Der Benchmark nutzt Peer Reviews von ICLR 2026. Statt bloße Akzeptanz als Novitätsnachweis zu werten, extrahierte Ai2 Stellen, an denen Reviewer Originalität ausdrücklich lobten oder kritisierten. Für die High-Novelty-Gruppe wurden 154 Ideen aus den bestplatzierten zehn Prozent ihres Fachbereichs ausgewählt, bei denenReviewer die Originalität bestätigten und keine Gegenstimme erfolgte. Für die Low-Novelty-Gruppe wurden 145 Ideen aus den am schwächsten bewerteten zehn Prozent abgelehnter Papiere herangezogen, bei denen Reviewer Originalitätszweifel äußerten, ohne die Originalität positiv hervorzuheben. Eine ergänzende Validierung durch menschliche Annotatorinnen und Annotatoren bestätigt die Zuverlässigkeit der automatisierten Auswahl weitgehend. Neben dieser Human-Only-Evaluation wurde ein zweites Szenario aufgebaut: Human+Generated. Dabei wurden validierte menschliche Ideen mit 154 Ausgaben eines einfachen Sprachgenerators verglichen. Der Generator erhielt nur eine Themenangabe und den Auftrag, eine neue Idee zu formulieren, ohne Literaturrecherche, Tools oder Rückkopplung. Ein unabhängiger Experte prüfte 30 besonders schwierige Paare und bevorzugte in allen Fällen die menschliche Idee. Die Tests umfassten sechs Modelle: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 und Claude Opus 4.6. Entscheidend war, wie stabil die Urteile bei Änderungen von Prompt, Reasoning-Budget, Formatierung, Recherche oder Voting-Schema bleiben. Die Ergebnisse zeigen erhebliche Instabilität. Bereits wenige Worte im Prompt konnten die Genauigkeit bei der Unterscheidung menschlicher und KI-generierter Ideen um mehr als 50 Prozentpunkte verschieben. Bei GPT-5.4 fiel die Accuracy von 93,5 Prozent auf 40,9 Prozent und damit unter Zufallsniveau. Auch Claude Opus 4.6 zeigte bei menschlichen Ideen Verschiebungen von etwa 21 Prozentpunkten. Ergänzende Versuche zeigen, dass mehr Reasoning und Live-Recherche die Bewertung nicht zuverlässig verbessern. Ein agentischer Richter mit sehr hohem Reasoning-Aufwand und iterative arXiv-Recherche lag in der Makro-F1-Leistung deutlich hinter einer einfachen Prompt-Basis und war zugleich etwa zehnmal teurer pro Entscheidung. Zweckgebundene Evaluatoren wie Idea Novelty Checker und Sakana AI Science Novelty Checker schnitten in den Tests schlechter ab als ein einfacher Prompt von Claude Opus 4.6 mit niedrigerem Reasoning-Budget und Mehrheitsvoting. Insgesamt zeigt die Studie, dass die automatische Bewertung wissenschaftlicher Neuheit derzeit ein ungelöstes Problem ist. Modelle, die bei menschlichen Texten stabil wirken, können bei KI-generierten Ideen stark variieren. Prompts, die für ein Modell funktionieren, übertragen sich nicht automatisch auf andere. Der veröffentlichte Benchmark soll Forschenden helfen, diese Unsicherheiten systematisch zu messen und robustere Bewertungsmethoden für KI-gestützte Forschungsarbeit zu entwickeln.
