Suche-o1: Agentenbasierte Suchverstärkte Große Inferenzmodelle

Große Inferenzmodelle (GIMs) wie OpenAI-o1 haben durch groß angelegtes Reinforcement Learning beeindruckende Fähigkeiten zur langen schrittweisen Inferenz gezeigt. Dennoch leiden ihre erweiterten Inferenzprozesse oft unter Wissensmangel, was zu häufigen Unsicherheiten und potenziellen Fehlern führt. Um diese Einschränkung zu beheben, stellen wir Search-o1 vor, einen Rahmen, der GIMs mit einem agentengestützten retriviierungsverstärkten Generierungsmechanismus (RAG) und einem Reason-in-Documents-Modul zur Verfeinerung der retrivierten Dokumente ergänzt. Search-o1 integriert einen agentengestützten Suchablauf in den Inferenzprozess, wodurch die dynamische Retrivierung externer Wissen bei unsicheren Wissenspunkten ermöglicht wird. Zudem entwerfen wir aufgrund der umfangreichen Natur der retrivierten Dokumente ein separates Reason-in-Documents-Modul, das die retrivierte Information tiefgreifend analysiert, bevor sie in die Inferenzkette eingeführt wird. Dies minimiert Störungen und bewahrt eine kohärente Inferenzstruktur. Ausführliche Experimente zu komplexen Inferenzaufgaben in den Bereichen Wissenschaft, Mathematik und Programmierung sowie an sechs Benchmarks für offene Fragen belegen die starke Leistungsfähigkeit von Search-o1. Dieser Ansatz erhöht die Zuverlässigkeit und Anwendbarkeit von GIMs bei komplexen Inferenzaufgaben und bahnt den Weg für verlässlichere und vielseitigere intelligente Systeme. Der Code ist unter https://github.com/sunnynexus/Search-o1 verfügbar.