Command Palette
Search for a command to run...
InteractComp : Évaluation des agents de recherche avec des requêtes ambiguës
InteractComp : Évaluation des agents de recherche avec des requêtes ambiguës
Résumé
Les agents linguistiques ont fait preuve d’un potentiel remarquable dans les recherches web et la récupération d’information. Toutefois, ces agents supposent que les requêtes des utilisateurs sont complètes et sans ambiguïté, une hypothèse qui s’écarte de la réalité, où les utilisateurs partent souvent de requêtes incomplètes nécessitant une clarification par interactivité. Pourtant, la plupart des agents ne disposent pas de mécanismes interactifs durant le processus de recherche, et les benchmarks existants ne permettent pas d’évaluer cette capacité. Pour combler cette lacune, nous introduisons InteractComp, un benchmark conçu pour évaluer si les agents de recherche sont capables de détecter l’ambiguïté des requêtes et d’interagir activement pour la résoudre au cours de la recherche. Inspiré du principe « facile à vérifier, interagir pour lever l’ambiguïté », nous avons construit 210 questions soigneusement sélectionnées par des experts, réparties sur 9 domaines, en utilisant une méthodologie cible-dérive qui crée une ambiguïté authentique, résoluble uniquement par l’interaction. L’évaluation de 17 modèles révèle un échec frappant : le meilleur modèle atteint seulement 13,73 % de précision, contre 71,50 % lorsqu’un contexte complet est fourni, mettant en lumière une surestimation systématique plutôt qu’un défaut de raisonnement. L’obligation d’interagir produit des gains spectaculaires, démontrant une capacité latente que les stratégies actuelles échouent à activer. Une analyse longitudinale montre que les capacités d’interaction se sont stagnées sur une période de 15 mois, tandis que la performance de recherche s’est améliorée sept fois. Cela révèle un point aveugle critique. Cette stagnation, combinée à la rétroaction immédiate inhérente aux tâches de recherche, rend InteractComp une ressource précieuse pour évaluer et entraîner les capacités d’interaction des agents de recherche. Le code est disponible à l’adresse suivante : https://github.com/FoundationAgents/InteractComp.