HyperAIHyperAI

Command Palette

Search for a command to run...

InteractComp : Évaluation des agents de recherche avec des requêtes ambiguës

Résumé

Les agents linguistiques ont fait preuve d’un potentiel remarquable dans les recherches web et la récupération d’information. Toutefois, ces agents supposent que les requêtes des utilisateurs sont complètes et sans ambiguïté, une hypothèse qui s’écarte de la réalité, où les utilisateurs partent souvent de requêtes incomplètes nécessitant une clarification par interactivité. Pourtant, la plupart des agents ne disposent pas de mécanismes interactifs durant le processus de recherche, et les benchmarks existants ne permettent pas d’évaluer cette capacité. Pour combler cette lacune, nous introduisons InteractComp, un benchmark conçu pour évaluer si les agents de recherche sont capables de détecter l’ambiguïté des requêtes et d’interagir activement pour la résoudre au cours de la recherche. Inspiré du principe « facile à vérifier, interagir pour lever l’ambiguïté », nous avons construit 210 questions soigneusement sélectionnées par des experts, réparties sur 9 domaines, en utilisant une méthodologie cible-dérive qui crée une ambiguïté authentique, résoluble uniquement par l’interaction. L’évaluation de 17 modèles révèle un échec frappant : le meilleur modèle atteint seulement 13,73 % de précision, contre 71,50 % lorsqu’un contexte complet est fourni, mettant en lumière une surestimation systématique plutôt qu’un défaut de raisonnement. L’obligation d’interagir produit des gains spectaculaires, démontrant une capacité latente que les stratégies actuelles échouent à activer. Une analyse longitudinale montre que les capacités d’interaction se sont stagnées sur une période de 15 mois, tandis que la performance de recherche s’est améliorée sept fois. Cela révèle un point aveugle critique. Cette stagnation, combinée à la rétroaction immédiate inhérente aux tâches de recherche, rend InteractComp une ressource précieuse pour évaluer et entraîner les capacités d’interaction des agents de recherche. Le code est disponible à l’adresse suivante : https://github.com/FoundationAgents/InteractComp.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
InteractComp : Évaluation des agents de recherche avec des requêtes ambiguës | Articles | HyperAI