HierSearch: Ein hierarchisches tiefes Suchframework für Unternehmen, das lokale und Web-Suchen integriert

Kürzlich haben große Reasoning-Modelle starke mathematische und programmiersprachliche Fähigkeiten demonstriert, und Deep Search nutzt diese Reasoning-Fähigkeiten bei anspruchsvollen Informationsabruf-Aufgaben. Bestehende Ansätze im Bereich des Deep Search sind in der Regel auf eine einzige Wissensquelle beschränkt, entweder lokal oder das Web. Unternehmen benötigen jedoch oft private Deep-Search-Systeme, die Suchwerkzeuge sowohl für lokale als auch für Web-Datenbestände nutzen können. Die einfache Idee, einen Agenten mit mehreren Suchwerkzeugen mittels flacher Reinforcement Learning (RL)-Technik zu trainieren, erscheint naheliegend, birgt jedoch Probleme wie geringe Effizienz bei der Nutzung von Trainingsdaten und mangelndes Verständnis komplexer Werkzeuge. Um dieses Problem zu lösen, stellen wir einen hierarchischen agentenbasierten Deep-Search-Framework namens HierSearch vor, der mit hierarchischem RL trainiert wird. Auf der unteren Ebene werden ein lokaler Deep-Search-Agent und ein Web-Deep-Search-Agent trainiert, um Beweise aus ihren jeweiligen Domänen zu extrahieren. Auf der oberen Ebene koordiniert ein Planer-Agent die Agenten der unteren Ebene und liefert die endgültige Antwort. Zudem haben wir einen Wissens-Refiner entworfen, um direktes Kopieren von Antworten und die Fortpflanzung von Fehlern zu verhindern; dieser Filtert Halluzinationen und irrelevantes Material, das von den Agenten der unteren Ebene zurückgegeben wird. Experimente zeigen, dass HierSearch eine bessere Leistung erzielt als flache RL und in sechs Benchmarks über verschiedene Domänen – allgemein, Finanzen und Medizin – verschiedene Deep-Search- und Multi-Source-Informationssuche-basierte Generierungsbaselines übertrifft.