HyperAI
vor 2 Tagen

Deep Researcher mit Test-Time Diffusion

Rujun Han; Yanfei Chen; Zoey CuiZhu; Lesly Miculicich; Guan Sun; Yuanjun Bi; Weiming Wen; Hui Wan; Chunfeng Wen; Solène Maître; George Lee; Vishy Tirumalashetty; Emily Xue; Zizhao Zhang; Salem Haykal; Burak Gokturk; Tomas Pfister; Chen-Yu Lee
Deep Researcher mit Test-Time Diffusion
Abstract

Tiefe Forschungsagenten, angetrieben durch große Sprachmodelle (LLMs), entwickeln sich rasch weiter; dennoch stagniert ihre Leistung häufig, wenn komplexe, umfangreiche Forschungsberichte mit generischen Testzeit-Skalierungsalgorithmen erstellt werden. Inspiriert durch die iterative Natur der menschlichen Forschung, die aus Zyklen der Suche, des Schlussfolgerns und der Überarbeitung besteht, schlagen wir den Test-Time Diffusion Deep Researcher (TTD-DR) vor. Dieses neue Framework betrachtet die Generierung von Forschungsberichten als einen Diffusionsprozess. Der TTD-DR startet diesen Prozess mit einem Entwurf, einem aktualisierbaren Skelett, das als sich entwickelnde Grundlage dient, um die Forschungsrichtung zu leiten. Der Entwurf wird anschließend iterativ durch einen „Denoising“-Prozess verfeinert, der dynamisch durch eine Retrieval-Mechanismus gestützt wird, der externe Informationen in jedem Schritt berücksichtigt. Der Kernprozess wird zudem durch einen selbst-evolutionären Algorithmus verbessert, der auf jedes Element des agentialen Workflows angewandt wird und sicherstellt, dass hochwertige Kontextinformationen für den Diffusionsprozess generiert werden. Diese entwurfsbasierte Architektur macht den Berichterstellungsprozess zeitnaher und kohärenter, während sie gleichzeitig die Informationsverluste während des iterativen Suchprozesses reduziert. Wir zeigen, dass unser TTD-DR auf einer Vielzahl von Benchmarks, die intensive Suche und Multi-Hop-Schlussfolgerung erfordern, state-of-the-art Ergebnisse erzielt und deutlich besser abschneidet als bestehende tiefe Forschungsagenten.