FRAMES-benchmark est un ensemble de données d'évaluation complet publié par Google en 2024, qui vise à tester les capacités des systèmes de génération augmentée de récupération (RAG) en termes de factualité, de précision de récupération et de raisonnement. Les résultats pertinents de l'article sontFait, récupération et raison : une évaluation unifiée de la génération augmentée par récupérationL'ensemble de données contient 824 questions complexes à plusieurs étapes qui nécessitent d'obtenir des informations à partir de 2 à 15 articles Wikipédia. Les questions couvrent des sujets tels que l'histoire, le sport, les sciences, la faune, la santé, etc. Chaque question est étiquetée selon le type de raisonnement utilisé (numérique, tabulaire, à contraintes multiples, temporel et post-traitement). L'ensemble de données fournit également la réponse idéale et l'article Wikipédia correspondant à chaque question.

Les principales caractéristiques de l'ensemble de données FRAMES incluent le test des capacités RAG de bout en bout, nécessitant l'intégration d'informations provenant de sources multiples, contenant un raisonnement complexe et une désambiguïsation temporelle, et étant conçu pour être un défi pour les modèles linguistiques de pointe. L'ensemble de données peut être utilisé pour évaluer les performances des systèmes RAG, évaluer la factualité et les capacités de raisonnement des modèles linguistiques et développer et tester des stratégies de récupération multi-sauts.