Abstract

Große Sprachmodelle (LLMs) sind zu agilen Systemen weiterentwickelt worden, die autonom Werkzeuge einsetzen und mehrstufige Schlussfolgerungen ziehen können, um komplexe Probleme zu lösen. Allerdings erzielen nachtrainierte Ansätze, die auf allgemeinen Grundmodelle aufbauen, insbesondere in Open-Source-Implementierungen, konstant schlechtere Ergebnisse bei agilen Aufgaben. Wir identifizieren die Ursache: Die fehlende Existenz robuster agiler Grundmodelle zwingt die Modelle während des Nachtrainings dazu, gleichzeitig eine Vielzahl agiler Verhaltensweisen zu erlernen und diese gleichzeitig mit Experten-Demonstrationen zu alignen. Dies führt zu fundamentalen Optimierungskonflikten. Um dies zu beheben, stellen wir erstmals die Integration von Agentic Continual Pre-training (Agentic CPT) in den Trainingspipeline für tiefgreifende Forschungsagenten vor, um leistungsstarke agile Grundmodelle zu entwickeln. Auf Basis dieses Ansatzes haben wir ein tiefgreifendes Forschungsagenten-Modell namens AgentFounder entwickelt. Wir evaluieren unser AgentFounder-30B an zehn Benchmarks und erreichen dabei state-of-the-art-Leistungen, während gleichzeitig eine starke Werkzeugnutzungs-Fähigkeit erhalten bleibt – insbesondere 39,9 % auf BrowseComp-en, 43,3 % auf BrowseComp-zh und 31,5 % Pass@1 auf HLE.