Vers une récupération d'outils orientée vers la complétude pour les grands modèles linguistiques

Récemment, l’intégration d’outils externes aux grands modèles linguistiques (LLM) a suscité un intérêt croissant en tant que stratégie efficace pour atténuer les limites inhérentes aux données d’entraînement préalable. Toutefois, les systèmes du monde réel intègrent souvent une grande variété d’outils, ce qui rend peu pratique d’injecter tous ces outils dans les LLM en raison des contraintes de longueur et de latence. Par conséquent, afin d’exploiter pleinement le potentiel des LLM enrichis d’outils, il est essentiel de développer un système de récupération d’outils efficace. Les méthodes existantes de récupération d’outils se concentrent principalement sur le matching sémantique entre les requêtes utilisateurs et les descriptions d’outils, ce qui conduit fréquemment à la récupération d’outils redondants ou similaires. En conséquence, ces approches ne parviennent pas à fournir un ensemble complet et diversifié d’outils nécessaire pour résoudre les problèmes multifacettes auxquels sont confrontés les LLM. Dans cet article, nous proposons un nouvel approche, COllaborative Learning-based Tool Retrieval (COLT), indépendante du modèle (model-agnostic), qui capture non seulement les similarités sémantiques entre les requêtes utilisateurs et les descriptions d’outils, mais aussi les informations collaboratives entre les outils. Plus précisément, nous débutons par une fine-tuning des modèles de récupération basés sur les PLM afin de capturer les relations sémantiques entre les requêtes et les outils dans une phase d’apprentissage sémantique. Ensuite, nous construisons trois graphes bipartites entre les requêtes, les scénarios et les outils, et introduisons un cadre d’apprentissage collaboratif à deux vues pour modéliser les relations collaboratives complexes entre les outils lors de la phase d’apprentissage collaboratif. Des expériences étendues sur une base de benchmark ouverte ainsi que sur le nouveau jeu de données ToolLens montrent que COLT atteint des performances supérieures. Notamment, le modèle BERT-mini (11M) enrichi par notre cadre d’approche dépasse les performances du modèle BERT-large (340M), qui possède 30 fois plus de paramètres. En outre, nous rendrons publiquement disponible ToolLens afin de faciliter les recherches futures sur la récupération d’outils.