Résumé

Les grands modèles de raisonnement ont démontré des capacités de résolution de problèmes remarquables, mais les tâches du monde réel exigent souvent l’utilisation d’outils externes et des interactions à longue portée. Les cadres d’agents existants suivent généralement des flux de travail prédéfinis, ce qui limite la capacité d’auto-complétion globale. Dans cet article, nous introduisons DeepAgent, un agent de raisonnement profond end-to-end capable d’effectuer, dans un même processus de raisonnement cohérent, une pensée autonome, la découverte d’outils et l’exécution d’actions. Pour surmonter les défis posés par les interactions à longue portée, notamment l’explosion de la longueur du contexte due à plusieurs appels d’outils et l’accumulation de l’historique d’interactions, nous proposons un mécanisme autonome de pliage de mémoire qui compresse les interactions passées en mémoires épisodiques, de travail et d’outils structurées, réduisant ainsi l’accumulation d’erreurs tout en préservant les informations critiques. Pour enseigner efficacement et de manière stable l’utilisation d’outils généralistes, nous développons une stratégie d’apprentissage par renforcement end-to-end, nommée ToolPO, qui exploite des API simulées par LLM et applique une attribution d’avantage aux appels d’outils afin d’attribuer un crédit finement granulé aux jetons d’appel d’outils. Des expérimentations étendues sur huit benchmarks, incluant des tâches générales d’utilisation d’outils (ToolBench, API-Bank, TMDB, Spotify, ToolHop) et des applications en aval (ALFWorld, WebShop, GAIA, HLE), montrent que DeepAgent surpasse de manière cohérente les modèles de référence dans les scénarios à outils étiquetés comme dans les scénarios à recherche d’outils en ensemble ouvert. Ce travail constitue une avancée vers des agents plus généraux et plus performants pour des applications du monde réel. Le code et une démonstration sont disponibles à l’adresse suivante : https://github.com/RUC-NLPIR/DeepAgent.