DeepResearch Bench: Eine umfassende Benchmark für Deep Research Agenten

Tiefe Forschungsagenten (Deep Research Agents) stellen eine bedeutende Kategorie von LLM-basierten Agenten dar. Durch die autonome Koordination von mehrstufiger Webexploration, gezieltem Abruf und hochwertiger Synthese transformieren sie große Mengen an Online-Informationen in Analystenqualität, reich an Zitaten enthaltene Berichte – sie komprimieren Stunden manueller Schreibtischarbeit in Minuten. Ein umfassendes Benchmarking-Verfahren zur systematischen Bewertung der Fähigkeiten dieser Agenten fehlt jedoch bisher. Um diese Lücke zu schließen, präsentieren wir DeepResearch Bench, ein Benchmarking-Set bestehend aus 100 Forschungsaufgaben auf Doktoranden-Niveau, die jeweils sorgfältig von Fachexperten aus 22 verschiedenen Bereichen erstellt wurden.Die Bewertung von DRAs ist inhärent komplex und arbeitsintensiv. Wir schlagen daher zwei innovative Methodologien vor, die eine starke Übereinstimmung mit menschlichem Urteil erreichen. Die erste Methode ist ein referenzbasiertes Verfahren mit adaptiven Kriterien zur Beurteilung der Qualität generierter Forschungsberichte. Das zweite Framework dient der Bewertung der Informationsabruf- und -sammelfähigkeiten des DRA durch die Analyse seiner effektiven Zitatzahl und der gesamten Zitatenakcuratheit. Wir haben DeepResearch Bench sowie die wesentlichen Komponenten dieser Frameworks unter https://github.com/Ayanami0730/deep_research_bench als Open Source veröffentlicht, um die Entwicklung praktischer LLM-basierter Agenten zu beschleunigen.