In den letzten Jahren haben sich große Sprachmodelle und intelligente Agententechnologien rasant weiterentwickelt, und die Grenzen der KI-Beteiligung an der wissenschaftlichen Forschung erweitern sich stetig. Von der Literaturrecherche und dem Programmieren bis hin zur Datenanalyse lassen sich immer mehr standardisierte wissenschaftliche Forschungsprozesse mithilfe von KI durchführen, und einige intelligente Agentensysteme versuchen sogar, eigenständig spezifische Teilaufgaben der wissenschaftlichen Forschung zu übernehmen. Eine entscheidendere Frage bleibt jedoch weiterhin unbeantwortet: Was geschieht, wenn Forschende keine klaren Methoden und Vorgehensweisen mehr vorgeben, sondern lediglich ein zu lösendes wissenschaftliches Problem präsentieren?Inwieweit kann KI Forschungsarbeiten autonom durchführen?

Bestehende Forschungsbenchmarks haben Schwierigkeiten, diese Frage zu beantworten. Eine Art der Evaluierung bewertet primär das Verständnis eines Modells für vorhandenes wissenschaftliches Wissen und bleibt damit im Wesentlichen im Bereich der „wissensbasierten Fragebeantwortung mit bekannten Antworten“. Eine andere Art bezieht zwar die Codeausführung und die Werkzeugnutzung mit ein, definiert aber häufig Forschungsmethoden oder Arbeitsabläufe vor und testet hauptsächlich, ob die KI Aufgaben gemäß einem vorgegebenen Prozess erledigen kann. Diese Benchmarks können zwar das Wissensverständnis und die Fähigkeiten zur Forschungsdurchführung messen, aber sie haben Schwierigkeiten, zwischen verschiedenen Bereichen weiter zu differenzieren.Ist KI wirklich in der Lage, autonom Forschungslösungen zu entwickeln, oder repliziert sie lediglich bereits von Menschen bereitgestellte Lösungen?

Zu diesem Zweck haben über 40 Fachexperten aus mehr als zehn Institutionen, darunter die Tsinghua-Universität, das MIT, die Harvard-Universität, die Carnegie Mellon-Universität und Microsoft Research, gemeinsam über 31.000 Stunden in die Entwicklung des ASI-Bench investiert, eines Benchmarks für unabhängige Forschungskapazitäten. Dessen Kernidee besteht nicht einfach darin, den Schwierigkeitsgrad der Probleme zu erhöhen, sondern vielmehr die Menge an methodischen Informationen, die von Menschen für dasselbe Forschungsprojekt bereitgestellt werden, schrittweise zu reduzieren und zu beobachten, wie sich die Leistung der KI verändert. Dadurch lässt sich die Abhängigkeit des Systems von menschlicher Anleitung quantifizieren.

Die zugehörigen Forschungsergebnisse mit dem Titel „ASI-Bench: Am Beginn der künstlichen Superintelligenz“ wurden auf der Preprint-Plattform arXiv veröffentlicht.

Lesen Sie das Dokument:
https://hyper.ai/papers/2608.17271

Datensatz: Ein Forschungsaufgaben-Repository auf Projektebene, das 11 Hauptdisziplinen abdeckt

ASI-Bench basiert auf einer Reihe von Projektaufgaben, die realen Forschungsproblemen nachempfunden sind. Im Gegensatz zu wissensbasierten Fragen oder standardisierten Übungen in traditionellen Benchmarks ist jede Aufgabe als ein relativ vollständiges Mikro-Forschungsprojekt konzipiert, das vom Agenten mehrere Phasen erfordert, wie z. B. Problemverständnis, Methodenauswahl, Code-Implementierung, experimentelle Durchführung, Fehlerprüfung und Ergebnisiteration.

Die Aufgabe entstand ursprünglich aus mehr als 1.300 wissenschaftlichen Arbeiten und hochaktuellen Forschungsfragen, die verschiedene Bereiche wie Grundlagenforschung, Lebenswissenschaften und Ingenieurtechnik abdecken.Das Forschungsteam wählt zunächst mithilfe von Fachexperten repräsentative Themenkandidaten aus und führt anschließend technische Anpassungen und Machbarkeitsprüfungen durch, um sicherzustellen, dass die ursprünglich offenen Forschungsfragen in einer einheitlichen Umgebung durchgeführt und ausgewertet werden können. Aufgaben mit wissenschaftlich-logischen Mängeln, schwer reproduzierbaren Ergebnissen, instabilen Betriebsbedingungen oder einem unausgewogenen Schwierigkeitsgrad werden in diesem Prozess aussortiert.

Finale,ASI-Bench umfasst 60 Forschungsaufgaben.Es umfasst elf Fachgebiete: Mathematik, Physik, Chemie, Biologie, Astronomie, Materialwissenschaften, Geowissenschaften, medizinische Biostatistik, Informatik, Robotik und Elektrotechnik. Unterschiedliche Aufgaben erfordern unterschiedliche Datenformate, Forschungsmethoden und Validierungsstandards, wodurch eine Dominanz der Benchmarks durch eine bestimmte Disziplin oder festgelegte Problemlösungsmethoden zumindest teilweise vermieden wird.

Jede Aufgabe umfasst vollständige Forschungsziele, spezifische Eingangsdaten, eine ausführbare Umgebung, klare Ausgabevorgaben und quantitative Bewertungsregeln. Nach dem Start einer Aufgabe muss der Agent den Forschungsprozess anhand der gewonnenen Informationen selbstständig planen und das Experiment mithilfe von Code und Tools durchführen. Die 60 Aufgaben umfassten insgesamt über 2.600 Runden der Agenteninteraktion und 2.400 Codeausführungen.Die kumulierte Zeit, die ein einzelner Mitarbeiter für die Erledigung aller Aufgaben benötigt, beträgt mehr als 35 Stunden.

Angesichts der naturgemäß offenen Natur wissenschaftlicher Forschungsaufgaben ist es von größter Bedeutung sicherzustellen, dass die Benchmarks tatsächlich realisierbar und die Bewertung effektiv ist. Zu diesem Zweck führte das Forschungsteam fünf Runden von Expertenbegutachtungen durch, wodurch über 1.100 Gutachten und über 2.000 Aufgabenüberarbeitungen entstanden. Darauf aufbauend wurden alle Aufgaben in einer isolierten Testumgebung über 1.500 Mal vollständig erprobt, um die Reproduzierbarkeit der Referenzlösungen und den stabilen Betrieb des Bewertungsprogramms zu bestätigen. Letztendlich resultierte dies in einer Bibliothek von Forschungsaufgaben auf Projektebene, die wissenschaftliche Rationalität und technische Machbarkeit in Einklang bringt.

Schrittweise Abschaffung methodischer Vorgaben, Quantifizierung der Forschungsautonomie

Das bekannteste Design von ASI-Bench.Der entscheidende Punkt ist, dass nicht unterschiedliche Probleme für unterschiedliche Fähigkeiten entworfen werden, sondern die intelligenten Agenten im selben Forschungsprojekt eingesetzt werden, wobei lediglich die von Menschen bereitgestellten methodischen Informationen geändert werden.Die Forschungsziele, Eingangsdaten, Betriebsumgebung, Endergebnis und Bewertungskriterien bleiben unverändert; der einzige Unterschied besteht im Umfang der Forschungsanleitung, die das System erhält. Durch die Beobachtung der Veränderungen der Modellbewertung bei schrittweiser Informationsreduzierung lässt sich weiter feststellen, ob die Schwierigkeiten in der KI auf die Ausführung, die Methodenimplementierung oder die autonome Auswahl von Forschungspfaden zurückzuführen sind.

ASI-Bench unterteilt jede Aufgabe in vier Stufen: B1, B2, B3 und B4.

B1:Vollständige methodische Anleitung. Das System kann einen weitgehend vollständigen Forschungsplan erstellen, einschließlich der grundlegenden Gleichungen, numerischen Methoden, wichtigen Implementierungsschritten und Parametereinstellungen. Der intelligente Agent muss diesen Plan lediglich in Code umsetzen und ausführen, wodurch die Bewertung der wissenschaftlichen Durchführungsfähigkeiten deutlich besser abgebildet wird.

B2:Es wird lediglich die Methodenkategorie angegeben. Detaillierte Implementierungsschritte werden entfernt; das System kann nur die Methodenkategorie und die Kernprinzipien ermitteln. Beispielsweise kann das System erkennen, dass sich ein bestimmtes Problem für die Lösung mit Spektralmethoden eignet, aber die Diskretisierung, die Integrationsstrategie und die Parametereinstellung müssen manuell festgelegt werden. Auf dieser Ebene wird hauptsächlich geprüft, ob die KI abstrakte Methoden in einen tatsächlich praktikablen Forschungsprozess umsetzen kann.

B3:Es werden lediglich Forschungsziele und Daten bereitgestellt. Sämtliche methodischen Hinweise werden entfernt; der Agent sieht nur die Rohdaten, die Forschungsziele und die Anforderungen an die Ergebnisse. Er muss selbstständig die Art des Problems bestimmen, Forschungsmethoden auswählen, Rechenprozesse entwerfen und Experimente durchführen. Dies ist auch die Kernebene der Messung unabhängiger Forschungskompetenzen durch ASI-Bench.

B4:Fügen Sie irrelevante und ablenkende Informationen hinzu. Aufbauend auf B3 fügen Sie faktisch korrektes, aber aufgabenirrelevantes Hintergrundmaterial, unbestätigte methodische Vermutungen und weitere Szenarioinformationen hinzu, um die Fähigkeit des Systems zu testen, wirklich forschungsrelevante Inhalte zu identifizieren und normale Forschungsprozesse in komplexen Informationsumgebungen aufrechtzuerhalten.

Durch diese Vorgehensweise wird „unabhängige Forschung“ nicht länger nur ein allgemeines Konzept, sondern kann in mehrere aufeinanderfolgende Phasen unterteilt werden. Wenn das Modell beispielsweise in Phase 1 gut abschneidet, die Leistung in Phase 2 aber deutlich abfällt, deutet dies darauf hin, dass das Problem möglicherweise nicht in der Codeausführung liegt, sondern darin, ob das Modell den Forschungsplan selbstständig umsetzen kann. Fällt die Leistung von Phase 2 zu Phase 3 erneut stark ab, so deutet dies darauf hin, dass die Wahl der Methodik und des Forschungsdesigns die neuen Hauptprobleme darstellen.

Um Störungen durch externe Faktoren zu minimieren, führt ASI-Bench alle Aufgaben in einer isolierten Sandbox aus. Der Agent kann nur auf die zuvor für die jeweilige Aufgabe bereitgestellten Daten und Werkzeuge zugreifen; er kann weder online suchen noch auf externe Wissensdatenbanken zugreifen. Daher spiegeln die Endergebnisse eher die eigenen Denk-, Planungs- und Ausführungsfähigkeiten des Modells wider als seine Abruffähigkeiten.

Basierend auf dem vierstufigen InformationsgradientenASI-Bench kann darüber hinaus die Unterschiede zwischen verschiedenen Fähigkeiten analysieren:Die Veränderungen in B1 und B2 spiegeln die Fähigkeit wider, Methoden in konkrete Prozesse zu übersetzen, die Veränderungen in B2 und B3 spiegeln die Fähigkeit wider, Methoden autonom auszuwählen und Forschungsschemata zu entwerfen, und die Veränderungen in B3 und B4 spiegeln die Robustheit des Systems gegenüber redundanten Informationen wider.

Experimentelle Verifizierung: Leistungs- und Fähigkeitsgrenzen von 18 hochmodernen Systemen

Basierend auf ASI-Bench,Das Forschungsteam evaluierte 18 hochmoderne Systeme, die aus einem „intelligenten Agenten-Framework + groß angelegtem Basismodell“ bestehen.Es umfasst Frameworks für intelligente Agenten wie Codex, Claude Code, Kimi Code, MiMo Code und OpenHands sowie Modelle wie GPT-5.5, GPT-5.6 Sol, Claude Opus, GLM, DeepSeek, Kimi, MiMo und MiniMax. Alle Systeme laufen in isolierten Umgebungen, wobei jede Aufgabe dreimal unabhängig ausgeführt und das Durchschnittsergebnis ermittelt wird.

Die experimentellen Ergebnisse zeigen, dassMit abnehmender menschlicher Anleitung sank die Forschungsleistung der KI rapide. Die 18 Systeme erreichten unter vollständiger Methodenführung in B1 einen Durchschnittswert von 50,91. In B2, das lediglich Methodenkategorien bereitstellte, sank der Durchschnittswert auf 29,10. In B3, wo Methodenhinweise vollständig entfernt wurden, fiel der Durchschnittswert weiter auf 26,62. Das leistungsstärkste System, Codex + GPT-5.6 Sol (ultra), erzielte in B3 51,60 Punkte und war damit die einzige Konfiguration mit einem Wert über 50. Eine Erhöhung der Inferenzstärke verbesserte die Ergebnisse; beispielsweise steigerte ein Upgrade von GPT-5.6 Sol von xhigh auf ultra den B3-Wert um 10,74 Punkte. Insgesamt besteht jedoch noch eine erhebliche Lücke zwischen den aktuellen Systemen und einer stabilen, ergebnisoffenen autonomen Forschung.

Die Abweichungen der Punktzahlen zwischen den verschiedenen Informationsniveaus offenbarten spezifischere Kompetenzlücken. Von B1 zu B2 sank die durchschnittliche Punktzahl des Systems um 21,82 Punkte; von B2 zu B3 hingegen, nach dem weiteren Entfernen der Hinweise zur Methodenkategorie, sank die durchschnittliche Punktzahl nur noch um 2,48 Punkte. Dies bedeutet, dass…Die größte Schwierigkeit im Bereich der KI besteht heute nicht unbedingt darin, sich für eine Methode zu entscheiden, sondern vielmehr darin, wie man bestehende methodische Ideen in einen vollständigen Prozess umsetzen kann, der aus Parameterauswahl, Code-Implementierung, experimenteller Durchführung und Ergebnisverifizierung besteht.Unterdessen erzielte B4 nach Hinzufügung irrelevanter und störender Informationen einen Durchschnittswert von 26,99, was im Wesentlichen dem Wert von B3 mit 26,62 entspricht. Dies deutet darauf hin, dass Informationsrauschen zumindest unter den gegebenen Aufgabenbedingungen kein wesentlicher limitierender Faktor ist.

Das Experiment zeigte außerdem, dass die autonome Forschungsfähigkeit nicht allein vom zugrundeliegenden Modell abhängt. Dasselbe Modell kann in Kombination mit unterschiedlichen Agentenframeworks deutlich unterschiedliche Ergebnisse liefern. Beispielsweise erzielte MiMo V2.5 Pro in Kombination mit Claude Code eine um über 401 TP3T höhere Gesamtpunktzahl als MiMo Code allein; auch Kimi K2.7 schnitt mit dem Claude-Code-Framework besser ab als mit Kimi Code. Dies deutet darauf hin, dass Agentenmechanismen wie Aufgabenplanung, Werkzeugaufruf, Fehlerkorrektur und Prozessplanung die Qualität der Forschungsaufgabenbearbeitung direkt beeinflussen.

Schließlich besteht kein einfacher linearer Zusammenhang zwischen Kosten und Leistung verschiedener Systeme. Beispielsweise betragen die Kosten pro Durchlauf von Codex + GPT-5.6 Sol (xhigh) etwa ein Viertel der Kosten von Claude Opus 5, obwohl ihre Ergebnisse im B3-Test vergleichbar sind; das leistungsstärkste GPT-5.6 Sol (ultra) kostet etwa 1550 US-Dollar pro Durchlauf. Daher muss in praktischen wissenschaftlichen Anwendungen neben den Modellfähigkeiten auch die Recheneffizienz berücksichtigt werden. Höhere Investitionen in die Inferenz können die Leistungsgrenzen erhöhen, doch die Frage, ob Forschungsaufgaben stabil und zu angemessenen Kosten abgeschlossen werden können, ist ebenfalls ein Problem, dem sich autonome Forschungssysteme stellen müssen, um in der Praxis Anwendung zu finden.

Letzte Worte

Die Bewertung der Forschungsfähigkeiten von KI konzentrierte sich lange Zeit auf die Beantwortung wissenschaftlicher Fragen, die Reproduktion von Forschungsergebnissen oder die Durchführung vorgegebener Experimente. ASI-Bench geht jedoch einen Schritt weiter: Wie viel Forschungsarbeit kann KI selbstständig leisten, wenn Menschen keine spezifischen Methoden und Vorgehensweisen mehr vorgeben? Die Ergebnisse zeigen, dass KI Aufgaben mit klar definierten Abläufen bereits recht gut lösen kann. Dennoch besteht eine erhebliche Lücke zwischen ihren aktuellen Fähigkeiten und ihrer Fähigkeit, ergebnisoffene, autonome Forschung stabil durchzuführen. Die zukünftige Verbesserung von Forschungsagenten kann nicht allein auf leistungsfähigeren Modellen und mehr Rechenleistung beruhen; sie erfordert auch verbesserte Fähigkeiten in der Aufgabenplanung, der Nutzung von experimentellem Feedback und der Fehlerkorrektur. Die Messung der Forschungsfähigkeiten von KI wird sich schrittweise von der Frage „Wie viele Fragen beantwortet sie korrekt?“ hin zu „Wie viele reale Forschungsaufgaben kann sie selbstständig lösen?“ verschieben.