Abstract

Tiefe Forschungsagenten haben zunehmend Aufmerksamkeit erregt, da sie das Potenzial besitzen, komplexe, mehrstufige Forschungsworkflows zu koordinieren – von der Literatursynthese über die methodische Gestaltung bis hin zur empirischen Überprüfung. Trotz dieser Fortschritte ist die zuverlässige Bewertung ihrer Forschungsfähigkeiten jedoch äußerst herausfordernd, da die Sammlung von aktuellsten Forschungsfragen, die echtes Forschungsinteresse und intellektuelle Neugier widerspiegeln, schwierig ist. Um diese Lücke zu schließen, stellen wir DeepResearch Arena vor – einen Benchmark, der auf akademischen Seminaren basiert und reichhaltige Expertendiskussionen sowie Interaktionen erfasst. Dadurch wird ein realistischerer Forschungskontext abgebildet und das Risiko von Datenlecks deutlich reduziert. Zur automatischen Erstellung von DeepResearch Arena entwickeln wir ein Multi-Agenten-Hierarchisches Aufgaben-Generierungssystem (MAHTG), das aus Seminarprotokollen Forschungsideen mit hohem Potenzial extrahiert. Das MAHTG-System übersetzt diese Forschungsideen anschließend in hochwertige Forschungsaufgaben, wodurch die Nachvollziehbarkeit der Aufgabenformulierung gewährleistet und Rauschen effektiv eliminiert wird. Mit Hilfe des MAHTG-Systems haben wir DeepResearch Arena mit über 10.000 hochwertigen Forschungsaufgaben aus mehr als 200 akademischen Seminaren aus 12 Disziplinen – darunter Literatur, Geschichte und Naturwissenschaften – zusammengestellt. Unsere umfassende Evaluation zeigt, dass DeepResearch Arena erhebliche Herausforderungen für derzeitige State-of-the-Art-Agenten darstellt, wobei sich deutliche Leistungsunterschiede zwischen den verschiedenen Modellen nachweisen lassen.