Die Fähigkeit Von 27B AI, Wissenschaftliche Arbeiten Zu Reproduzieren, Übertrifft GPT-5.5/Claude Opus 4.8; Faraday Erforscht Langfristige Wissenschaftliche Innovationen.

Die Reproduzierbarkeit einer Forschungsarbeit ist der Grundstein eines wissenschaftlichen Wissenssystems. Sie gewährleistet nicht nur die Zuverlässigkeit bestehender Forschungsergebnisse, sondern bildet auch die Grundlage für weitere Experimente.

Verschiedene wissenschaftliche Disziplinen, insbesondere das maschinelle Lernen, stehen derzeit vor einer „Reproduzierbarkeitskrise“. Theoretisch könnten KI-Agenten auf Basis großer Sprachmodelle (LLMs) eine skalierbare Lösung für diese Krise bieten; in der Praxis stößt die Reproduzierbarkeit jedoch bei bestehenden KI-Agenten in drei Hauptbereichen auf Herausforderungen.Erste,Das Problem bei der Reproduktion einer wissenschaftlichen Arbeit besteht definitionsgemäß darin, dass die Informationen unvollständig sind. Die Arbeit bietet lediglich eine verlustbehaftete Komprimierung des gesamten Forschungsprozesses, der zu einer Entdeckung geführt hat, und lässt daher zwangsläufig einige Details aus.Zweitens,Die bestehenden KI-Agenten werden hauptsächlich anhand klar definierter, geschlossener Probleme trainiert, während die Reproduktion von Papieren von den Agenten eine offene Exploration erfordert; schließlich gibt es für allgemeine Reproduktionsaufgaben keine klare Belohnungsfunktion, die für eine kontinuierliche "Kletter"-Optimierung verwendet werden kann.

Als Antwort auf diese HerausforderungEin Forschungsteam von Inherent Labs hat einen KI-Wissenschaftleragenten namens Faraday trainiert, der wissenschaftliche Forschungsarbeiten reproduzieren kann.Dieser LLM-basierte Agent nutzt Codex GPT-5.5 als Werkzeug, ähnlich wie KI-Forscher programmierte Agenten einsetzen. In einer kriterienbasierten Evaluierung übertraf Faraday Claude Opus 4.8 und GPT-5.5 bei einer 73%-Aufgabe für verteiltes maschinelles Lernen und einer 60%-Aufgabe für KI in der Wissenschaft.

Es ist bemerkenswert, dass Faraday nur 27 Milliarden Parameter besitzt, aber dennoch ein Modell mit 5 Billionen Parametern steuern kann und dadurch eine praktisch signifikante Leistungssteigerung im Vergleich zur alleinigen Verwendung dieses größeren Modells erzielt. Die qualitative Analyse eines einzelnen Durchlaufs zeigt, dass Faraday einen wissenschaftlich fundierteren Ansatz verfolgt.

Die zugehörigen Forschungsergebnisse mit dem Titel „Training AI Scientists to Replicate Research“ wurden als Preprint auf arXiv veröffentlicht.

Forschungshighlights:

* Diese Studie erstellte einen automatisch generierten Aufgabenraum mit 310 Graphreproduktionsaufgaben aus 100 Artikeln in Machine Learning und AI for Science, die den Zeitraum von 1990 bis 2026 abdecken.

Diese Studie schlägt eine stabile GRPO-Nachschulungsmethode vor, die sich für langfristige, nicht verifizierbare Aufgaben eignet. Die Methode umfasst einen Bewertungskriterien-Evaluator für jede Aufgabe, die Aggregation von Auswertungsergebnissen aus mehreren Stichproben und einen Mechanismus zur Punktevergabe in jeder Runde.

Diese Studie trainierte einen Agenten mit 27 Milliarden Parametern, der in der Lage ist, Coding Agents as Tools (CAT) zu verwenden. Experimente, sowohl quantitative als auch qualitative, zeigen, dass Faraday eine höhere wissenschaftliche Strenge aufweist.

Papieradresse:
https://hyper.ai/papers/2608.13331

Erstellen Sie eine automatisch generierte Aufgabenbereichsreplik.

Um Faraday zu trainieren, konstruierten die Forscher einen skalierbaren Aufgabenraum namens Replica. Der Aufgabenraum von Replica besteht aus 242 Trainingsaufgaben und 68 Testaufgaben, die aus 100 bekannten wissenschaftlichen Arbeiten zum Thema maschinelles Lernen (ML) und künstliche Intelligenz (KI) stammen.Jede Aufgabe erfordert vom Agenten die Reproduktion einer Ergebnisabbildung aus der Veröffentlichung. Der Agent erhält die Originalveröffentlichung nach Maskierung der Abbildung und unterliegt einem Zeitlimit von 60 Minuten. Dabei kann er nur einen 1/7 MIG großen Teil der H200-GPU nutzen.

Das System stellt dem Agenten eine containerisierte Umgebung mit vorinstallierten nützlichen Forschungsbibliotheken sowie Internetzugang, System- und Aufgabenhinweise zur Verfügung. Kann ein Experiment aus der Publikation nicht innerhalb der vorgegebenen Zeit abgeschlossen werden, weist das System den Agenten an, das Experiment so originalgetreu wie möglich zu skalieren, bevor er es abschließt.

* Die Trainingsaufgaben stammen aus Veröffentlichungen zum maschinellen Lernen, die zwischen 1990 und 2026 erschienen sind.

* Die Testaufgaben stammen aus Artikeln der Zeitschrift AI for Science, die zwischen 2012 und 2026 veröffentlicht wurden.

Es ist erwähnenswert, dass diese Aufgaben automatisch generiert werden, wodurch der gesamte Aufgabenraum gut skalierbar ist. Für ein gegebenes Dokument wandelt das System dieses in drei Schritten der visuellen Sprachverarbeitung in eine Aufgabe um. Alle drei Schritte basieren auf Gemini 2.5 Pro: Zunächst identifiziert der Scan-Schritt alle Abbildungen und deren Bildunterschriften im Text. Anschließend bestimmt der Lokalisierungsschritt die Begrenzungsrahmen der Abbildungen in der Reparaturschleife des LLM-Validators. Schließlich wird die Abbildung im PDF unwiderruflich maskiert. Eine vollständige Aufgabe besteht aus drei Teilen: der Bildunterschrift, der extrahierten Originalabbildung („Goldplot“) und dem Dokument mit der maskierten Abbildung.

Das Forschungsteam prüft jede Aufgabe manuell und filtert Aufgaben von geringerer Qualität heraus, wie z. B. solche mit unzureichender Diagrammabdeckung, Diagramme, die nicht die Ergebnisdiagramme sind, oder falsche Bildunterschriften.Jede Arbeit trägt 1–13 Aufgaben bei, im Median sind es 2 Aufgaben.

Eine stabile GRPO-Nachtrainingsmethode, die sich für langfristige, nicht verifizierbare Aufgaben eignet

Einfaches Agenten-Framework

Agent Harness stellt eine Schnittstelle zwischen großen Sprachmodellen (LLMs, bei denen sowohl Eingabe als auch Ausgabe Token sind) und der Umgebung (Eingabeaktionen/Ausgabezustände) bereit:

* Verfügbare Funktionen und Kontext

Der Agent führt Operationen über fünf Funktionsaufrufe aus: `apply_patch`, `read_file`, `list_dir`, `grep_files` und `shell`. Faraday kann das Shell-Tool verwenden, um Hintergrundprozesse von der aktuellen Sitzung zu trennen und so mehrere Operationsrunden parallel mit mehreren Befehlen auszuführen. Tool-Aufrufe innerhalb einer Runde werden gleichzeitig ausgeführt, und ihre Ergebnisse werden in der Reihenfolge ihres Aufrufs an den Verlauf angehängt. Der Lauf wird beendet, wenn ein Kontextüberlauf auftritt, das Token-Limit von 16.000 pro Runde überschritten wird oder ein Inferenzfehler auftritt; auch unvollständige Läufe werden wie andere Läufe ausgewertet. Andernfalls wird der Lauf beendet, wenn Faraday direkt antwortet, ohne Tools aufzurufen, oder wenn das angegebene Laufzeitlimit erreicht ist.

* Einsatz programmierbarer Agenten als Werkzeuge (CAT)

Faraday ist mit einem hochmodernen Programmieragenten ausgestattet und nutzt diesen als Werkzeug. Ein Wrapper-Skript führt die Codex-CLI nicht-interaktiv aus. Faraday kann dieses Skript über ein Shell-Tool aufrufen und ein Protokoll der Befehle, Ausgaben und Meldungen des Programmieragenten erhalten, einschließlich der für jeden Schritt benötigten Zeit. Standardmäßig verwenden nachfolgende Aufrufe den vorherigen Sitzungszustand des Programmieragenten; Faraday kann jedoch auch den Kontext zurücksetzen oder mehrere Programmieragenten parallel ausführen. Das Wrapper-Skript erzwingt eine Frist, die von Faraday für jede Anfrage individuell festgelegt werden kann. Wird die Frist überschritten, wird ein Teilprotokoll der Interaktionen zurückgegeben. Das vom Programmieragenten verwendete Modell ist ein Laufzeitparameter: GPT-5.4 mini wird für den Großteil des Trainingsprozesses verwendet; GPT-5.5 kommt in der letzten Phase und während der Evaluierung zum Einsatz.

Nachschulungsprogramm

Um Faraday zu erhalten, trainierten die Forscher Qwen3.6-27B im Rahmen des Faraday-Agenten-Frameworks mit einem modifizierten GRPO basierend auf dem Replica-Aufgabenraum. Sie verwendeten LoRA-Feinabstimmung mit einem Rang von 128 (k = 128) und trainierten den Adapter auf allen linearen Projektionsschichten mit einem Token-Kontextfenster von 128.000 und einer festen Lernrate von 6 × 10⁻⁶. In jedem Schritt des Adam-Optimierers wurde ein Batch von 10 Aufgaben aus einer Replica-Trainingsdatenpartition mit 242 Aufgaben gezogen, wobei jede Aufgabe 8 Durchläufen entsprach.

Die Methode der Aufgabenstichprobe stellt sicher, dass jeder Batch den gesamten Jahresbereich des Korpus gleichmäßig abdeckt; gleichzeitig greift jede Trainingsepoche genau einmal auf jede Aufgabe zu, wodurch die Dominanz von Daten aus einer bestimmten wissenschaftlichen Periode bei einer bestimmten Parameteraktualisierung vermieden wird.

Langfristige Trainingsstabilität

Das Training nach dem eigentlichen Training erfordert langfristiges bestärkendes Lernen in einem nicht verifizierbaren Bereich – ein Umfeld, das bekanntermaßen anfällig für Trainingsinstabilität und sogar Modellzusammenbruch ist. Zwei Faktoren, die zu dieser Instabilität beitragen, sind die hohe Varianz des Belohnungssignals und die gleichmäßige Gutschriftszuweisung. Um dieses Problem zu beheben, nahmen die Forscher während der Trainingsphase zwei Modifikationen am Evaluator vor.

Zunächst wird der Durchschnitt dreier unabhängiger Bewertungsergebnisse verwendet, um die Belohnung auf Rollout-Ebene zu berechnen. Anschließend muss der Bewerter für jede Runde Gewichtungen generieren, um den einzelnen Operationsrunden während des Rollouts Punkte zuzuordnen. Dadurch können Punkte innerhalb eines einzelnen Rollouts neu verteilt werden, ohne den Gesamtumfang der Parameteraktualisierungen zu verändern.

Faraday ist in qualitativen wie quantitativen Aspekten der wissenschaftlichen Forschung strenger.

Bevor Faradays Fähigkeiten bewertet werden konnten, wurde zunächst anhand der experimentellen Ergebnisse überprüft, ob die Replica-Aufgabe selbst ausreichend anspruchsvoll ist.Claude Opus 4.8 ist eines der leistungsstärksten Basismodelle in der Studie, aber keiner der führenden Kodierungsagenten, einschließlich Claude und GPT-5.5, hat bei Replikationsaufgaben eine Sättigung erreicht.Die Studie ergab außerdem, dass die Reproduktion von wissenschaftlichen Arbeiten umso schwieriger ist, je aktueller deren Veröffentlichungsdatum ist. Publikationen aus dem Bereich „AI for Science“ sind im Allgemeinen schwieriger zu reproduzieren als traditionelle Arbeiten zum maschinellen Lernen. Das Forschungsteam vermutet, dass dies mit der geringeren Informationsdichte in den Trainingsdaten neuerer Publikationen zusammenhängt und auch damit, dass aktuelle Forschung in der Regel höhere Rechenressourcen erfordert, was eine sinnvolle Skalierung erschwert.

Faradays Fähigkeit, das Papier zu reproduzieren, ist der von Claude und Codex überlegen.

Die Forscher verglichen Faraday mit verschiedenen Basismodellen über die gesamte Aufgabenverteilung von Replica hinweg (siehe Abbildung unten).Die Leistung von Faraday ist im Vergleich zum Basis-Qwen-Modell sowohl bei Trainings- als auch bei Testaufgaben umfassend verbessert.Bei verteilten Aufgaben übertrifft Faraday Claude und Codex bei 73%-Aufgaben; bei nicht verteilten Aufgaben übertrifft Faraday Claude und Codex bei 60%-Aufgaben.

Eine weitere Aufschlüsselung der Gesamtpunktzahl des Richters in verschiedene Unterdimensionen zeigt, dass...Faraday übertraf das Basismodell in experimenteller Tiefe, Reproduzierbarkeit der Aussagen und visueller Wiedergabetreue, während es in Bezug auf wissenschaftliche Integrität und Umsetzungstreue vergleichbare Ergebnisse wie Claude erzielte.(Siehe Abbildung unten).

Um zu untersuchen, ob die Vorteile des Faraday-Modells allein durch Optimierung der Eingabeaufforderungswörter erzielt werden können, führten die Forscher 24 Runden automatischer Optimierung der Eingabeaufforderungswörter am Codex-Basismodell durch und verglichen die resultierenden Eingabeaufforderungswörter mit dem ursprünglichen Codex-Modell und dem Faraday-Modell. Die Ergebnisse sind in der folgenden Abbildung dargestellt:

Die optimierten Vorschlagswörter führten zu keiner nennenswerten Leistungsverbesserung, sodass die Diskrepanz zu Faraday weiterhin besteht.Die optimierten Eingabeaufforderungen identifizierten zwar die spezifischen Fehlermuster in den Ergebnissen, lösten diese Probleme aber nicht: Die Leistungsverbesserung nach dem Training scheint nicht allein durch die Optimierung der Eingabeaufforderungen erreicht zu werden.

Faraday bewies auf qualitativer Ebene eine höhere Forschungskompetenz.

Um die konkreten Verbesserungen des Faraday-Modells gegenüber den Basismodellen Claude und Codex zu verstehen, analysierten die Forscher manuell einige spezifische Ergebnisse. Dabei konzentrierten sie sich auf Fälle, in denen die Ergebnisse des Faraday-Modells die höchsten Ergebnisse von Claude und Codex deutlich übertrafen. Die folgende Tabelle zeigt einige repräsentative Beispiele:

In der Analyse traten immer wieder zwei Muster hervor: Erstens bildet Faraday den Mechanismus, den das Experiment zu testen versucht, wirklich ab, während das Basismodell oft die erwartete Ausgabe direkt fest codiert oder auf einen zu vereinfachten Ansatz zurückgreift und somit die den Diagrammen entsprechenden Kernschlussfolgerungen nicht wirklich reproduzieren kann; Zweitens ist Faraday hinsichtlich des experimentellen Umfangs umfassender und kann mehr vom Inhalt des ursprünglichen Experiments reproduzieren, während unnötige Löschungen vermieden werden.

Generalisierungsfähigkeit von „vorgestellten Replikationen“

Die Forscher untersuchten außerdem Faradays Generalisierungsfähigkeit für die „imaginäre“ Reproduktion (siehe Abbildung unten). Dazu ließen sie Claude Opus 4.8 zufällig fünf Artikel aus den Replica-Trainings- und Testdatensätzen auswählen, für jeden Artikel zwei Varianten generieren und evaluierten anschließend Faraday und Codex GPT-5.5 anhand dieser Aufgaben.

Bei 19 von 20 Aufgaben bevorzugten die Juroren die Ergebnisse von Faraday gegenüber denen von Codex. In abgeschwächter Form zeigte Faraday nicht nur eine bessere Reproduzierbarkeit als vergleichbare Modelle, sondern auch ein stärkeres Innovationspotenzial.Die Forscher wiesen jedoch vorsichtig darauf hin, dass ihre Bewertungsskala noch nie für „fantasievolle“ Aufgaben validiert wurde, weshalb diese Schlussfolgerung in zukünftigen Untersuchungen noch weiter überprüft werden muss.

Abschluss

Während frühere KI-Wissenschaftler eher Ingenieuren glichen, die Experimente durchführten, versucht Faradays CAT-Paradigma, KI mit wissenschaftlichem Urteilsvermögen auszustatten, damit sie weiß, was zu tun ist. Die Fähigkeiten, die Forschungsrichtung festzulegen, den Umfang von Experimenten sinnvoll zu definieren und die Zuverlässigkeit reproduzierbarer Ergebnisse zu beurteilen – sobald diese in die äußere Schicht des intelligenten Agenten integriert sind – können mit der Weiterentwicklung der zugrundeliegenden, hochmodernen Modelle kontinuierlich ausgebaut werden.

Wichtiger noch: Dieses Paradigma bietet auch neue Einblicke in die Entwicklung und Sicherheit von KI-Systemen: Es ermöglicht einem relativ kleinen Modell die Beurteilung wissenschaftlicher Forschungsergebnisse, während ein leistungsfähigeres Modell die technische Umsetzung übernimmt. Zukünftig wird der Wettbewerb unter KI-Forschern sich möglicherweise nicht mehr allein um die Größe der Modellparameter drehen, sondern vielmehr darum, wie bessere wissenschaftliche Beurteilungen, die optimale Nutzung von Werkzeugen und die Zusammenarbeit zwischen Mensch und Maschine verbessert werden können.

Quellen:

https://arxiv.org/abs/2608.13331