Command Palette
Search for a command to run...
Compilation De Jeux De Données | Jeux De Données d'évaluation d'agents d'IA : 10 Jeux De Données Publiés Par Microsoft, l'Université De Pékin, l'Université De Hong Kong, l'Université Jiao Tong De Shanghai, etc., Couvrant Tout, De La Mémoire À Longue Portée À l'exécution De Tâches Du Monde réel.
Avec l'expansion continue des capacités des modèles à grande échelle, les agents d'IA évoluent rapidement, passant d'« outils de dialogue » à « exécuteurs de tâches », et commencent à être largement utilisés dans des scénarios tels que l'automatisation des tâches de bureau, la génération de code, l'analyse de données et la gestion de processus complexes. Par rapport aux modèles de langage universels (LLM) traditionnels de réponse aux questions, le changement fondamental des agents réside dans :Il ne se contente plus de répondre aux questions, mais est capable de décomposer les tâches, de faire appel à des outils et de progresser de manière autonome jusqu'à ce que l'objectif soit atteint.
À mesure que les capacités des agents augmentent, les jeux de données utilisés pour leur entraînement et leur évaluation deviennent de plus en plus cruciaux. Contrairement aux données traditionnelles de questions-réponses en une seule étape ou aux données de tâches statiques, les jeux de données relatifs aux agents mettent l'accent sur leurs « capacités de traitement », telles que la planification à long terme, le raisonnement multi-étapes, l'utilisation d'outils et la mémoire. Ces données déterminent si le modèle peut fonctionner de manière stable dans des tâches complexes du monde réel et influent directement sur la fiabilité et les limites supérieures du système d'agents.
Cet article compile 10 ensembles de données pertinents.Il couvre plusieurs domaines de compétences clés dans la recherche actuelle sur les agents : la compréhension du contexte long et l’évaluation de la mémoire, la planification de tâches complexes et le raisonnement en plusieurs étapes, l’invocation d’outils et les capacités d’exécution interactive, ainsi que les capacités d’achèvement des tâches dans des environnements réels ou simulés.Ces données constituent collectivement une caractérisation systématique des capacités des agents d'IA.
La composition de ces ensembles de données révèle également un changement dans les données d'évaluation et d'entraînement elles-mêmes : des annotations statiques de questions-réponses à la modélisation du processus d'interaction et des trajectoires comportementales, mettant l'accent sur le soutien des données à la capacité du modèle à « faire des choses » plutôt qu'à sa simple capacité à « répondre ».
Les jeux de données suivants sont disponibles en ligne sur HyperAI.Son objectif est d'accélérer la recherche et l'exploration menées par les chercheurs et les développeurs dans les domaines connexes.
Des ensembles de données de meilleure qualité :
Recommandation de jeu de données
1. Ensemble de données d'évaluation de la mémoire à long terme RHELM
* Utilisation en ligne :
RHELM est un jeu de données d'évaluation de la mémoire à long terme publié par Microsoft en 2026. L'article associé, intitulé « Au-delà des dialogues statiques : évaluation comparative de la mémoire à long terme réaliste, hétérogène et évolutive », vise à améliorer les capacités de mémoire à long terme, de raisonnement multi-sauts et de synthèse d'informations temporelles des grands modèles dans des scénarios dynamiques complexes. Il est largement utilisé dans des domaines de recherche tels que l'évaluation de la mémoire à long terme des grands modèles de langage, la vérification des capacités d'interaction à long terme des assistants IA, le raisonnement multi-sauts des grands modèles, la fusion d'informations temporelles et la détection des hallucinations.
L'ensemble de données comprend 10 profils de personnages virtuels, 1 305 paires question-réponse, 629 conversations au format JSON, 625 fils de discussion par courriel au format TXT et 1 053 pièces jointes aux formats MD et HTML. Les questions associées couvrent sept types principaux : référencement de pièces jointes, raisonnement mixte, recherche de faits, détection d'illusions, agrégation d'informations, analyse de séries temporelles et questions trompeuses.
2. Ensemble de données de référence multimodales à contexte long MemLens
* Utilisation en ligne :
MemLens est un jeu de données de référence pour l'évaluation de la mémoire de dialogues à long terme dans les modèles de langage visuels. Il teste la capacité du modèle à récupérer, rappeler, mettre à jour et inférer des informations visuelles et textuelles intégrées à des dialogues multiconversations dans des fenêtres de contexte de 32K, 64K, 128K et 256K. Le jeu de données contient 789 éléments couvrant cinq types d'évaluation : récupération d'informations, mise à jour des connaissances, raisonnement temporel, raisonnement multiconversationnel et rejet (abstention), et propose quatre configurations de longueur de contexte (32K/64K/128K/256K).
L'ensemble de données fournit également un sous-ensemble d'échantillon stratifié fixe de 195 questions spécifiquement destinées à évaluer les agents à mémoire augmentée afin d'équilibrer les coûts d'inférence.
3. Ensemble de données LongBlocks pour la réponse à des questions multilingues à contexte long
* Utilisation en ligne :
LongBlocks est un jeu de données synthétique multilingue à contexte long, publié en 2026 par l'Université de Lisbonne, l'Institut des Télécommunications, TransPerfect et d'autres institutions. Ce jeu de données contient environ 194 000 exemples de questions-réponses à contexte long, couvrant des corpus de documents volumineux tels que des livres, des textes de pages web, des articles Wikipédia, des articles arXiv, du code de programmation et des questions-réponses communautaires.
4. Ensemble de données de trajectoires d'interaction d'agents intelligents AgentTrove
* Utilisation en ligne :
AgentTrove est un vaste ensemble de données open source de trajectoires d'interaction entre agents, publié par l'équipe OpenThoughts-Agent. Cet ensemble contient 1 696 847 lignes de données, issues de 219 jeux de données, couvrant des tâches telles que la réparation de code, le scripting shell, la résolution de problèmes mathématiques, les compétitions de programmation et l'utilisation générale de l'informatique. Toutes les trajectoires ont été collectées à l'aide du framework open source Harbor, dédié à l'évaluation des agents et à la génération de données, et sont publiées de manière uniforme au format Terminus-2 (une interface de dialogue similaire à ShareGPT).
5. Ensemble de données de référence en conditions réelles Claw-Eval
* Utilisation en ligne :
Claw-Eval est un jeu de données de référence pour l'évaluation transparente de bout en bout des agents d'IA dans des tâches réelles. Publié en 2026 par l'Université de Pékin et l'Université de Hong Kong, il est associé à l'article intitulé « Claw-Eval : Vers une évaluation fiable des agents autonomes ». Ce jeu de données vise à évaluer la capacité des agents autonomes à réaliser des tâches, à utiliser des outils, à comprendre la multimodalité et à interagir dans des environnements réels. Il est largement utilisé pour l'évaluation des systèmes d'agents, l'exécution automatisée de tâches, la recherche sur les agents multimodaux et l'analyse des capacités des grands modèles.
Cet ensemble de données prend en charge l'anglais et le chinois et comprend trois groupes de tâches principaux : Général, Multimodal et Multi-tours, couvrant un total de 24 catégories de tâches telles que la communication, la finance, le bureau et les outils de productivité.
6. Ensemble de données compressées en mémoire contextuelle OpenMementos
* Utilisation en ligne :
OpenMementos est un jeu de données de compression de contexte et de mémoire, publié par Microsoft en 2026. Il est conçu pour modéliser l'inférence en chaîne longue et les capacités de gestion du contexte des grands modèles. Ce jeu de données vise à entraîner des modèles à effectuer une compression de contexte et une inférence continue, permettant ainsi de réaliser des tâches d'inférence complexes en plusieurs étapes dans une fenêtre de contexte limitée. Il est largement applicable à des scénarios de recherche tels que la modélisation de l'inférence en chaîne longue, l'entraînement de modèles optimisés pour la mémoire et la génération efficace.
Cet ensemble de données est basé sur le jeu de données d'inférence OpenThoughts et contient 228 557 séquences d'inférence structurées, dont 123 333 en mathématiques, 61 485 en sciences et 43 739 en programmation. Chaque séquence comporte en moyenne 187 phrases.
7. Ensemble de données de trajectoires d'inférence et de décision multi-étapes MIA
* Utilisation en ligne :
MIA (Memory Intelligence Agent) est un jeu de données publié conjointement en avril 2026 par l'Université normale de Chine orientale, l'Institut d'innovation de Shanghai et l'Institut de technologie de Harbin. Il sert à entraîner et à évaluer des agents intelligents dotés d'une mémoire à long terme et de capacités d'exécution de tâches. L'article de recherche associé, intitulé « Memory Intelligence Agent », vise à améliorer l'utilisation de la mémoire à long terme et les capacités de prise de décision multi-étapes des agents intelligents. Ce jeu de données contient environ 21 000 trajectoires de raisonnement, couvrant l'ensemble du processus de résolution de problèmes, de planification, de recherche et d'exécution, et convient à la recherche sur le raisonnement des agents et l'apprentissage par renforcement.
8. Ensemble de données ToolACE pour l'apprentissage complexe des dialogues
* Utilisation en ligne :
ToolACE est un ensemble de données automatisé de pipelines d'agents pour l'apprentissage d'outils, publié en 2024 par l'Université Jiao Tong de Shanghai en collaboration avec l'Université des Sciences et Technologies de Chine, le laboratoire Huawei Noah's Ark et d'autres institutions. L'article associé, intitulé « ToolACE : Optimiser l'utilisation des fonctions LLM », vise à générer des données d'apprentissage d'outils précises, complexes et diversifiées, en particulier pour pallier les problèmes rencontrés dans le monde réel, tels que la qualité insuffisante des données et le nombre limité de scénarios.
Cet ensemble de données contient des exemples de conversations complexes, faisant appel à un total de 26 507 API diverses. Les échantillons sont générés par des interactions multi-agents et soumis à un processus d'assurance qualité en deux étapes : vérification des règles et validation du modèle. Chaque dialogue représente une tâche d'extraction et d'analyse d'informations multi-étapes et multi-sources, simulant de manière réaliste des scénarios d'utilisation d'outils et fournissant des données d'entraînement de grande valeur pour la modélisation de bas niveau (LLM).
9. Ensemble de données d'instructions pour les tâches créatives des professionnels créatifs
* Utilisation en ligne :
Creative Professionals Agentic Tasks est un ensemble de données de tâches synthétiques à grande échelle et haute fidélité, conçu pour l'entraînement, l'évaluation et l'optimisation d'agents d'IA multimodaux. Il contient 1 070 917 opérations de commande d'agents, couvrant 36 environnements logiciels créatifs, techniques et d'ingénierie. Cet ensemble de données vise à explorer les interactions logicielles complexes et le raisonnement à plusieurs étapes.
10. Ensemble de données des tâches d'opération de bureau AgentNet
* Utilisation en ligne :
AgentNet est le premier jeu de données à grande échelle de trajectoires d'agents informatiques de bureau, publié en 2025 par le laboratoire XLANG de l'Université de Hong Kong, en collaboration avec Moonshot AI, l'Université de Stanford et d'autres institutions. L'article associé, intitulé « OPENCUA : Fondements ouverts pour les agents informatiques », vise à soutenir et à évaluer les agents multiplateformes à interface graphique et les modèles vision-langage-action (VLA).
Cet ensemble de données contient 22,6 000 traces d'utilisation d'ordinateurs annotées manuellement, couvrant Windows, macOS et Ubuntu, ainsi que plus de 200 applications et sites web. Les scénarios se répartissent en quatre catégories : bureautique, professionnel, quotidien et système. Il est adapté à la formation et à l'évaluation de l'automatisation des postes de travail, des processus multi-applications et des agents multiplateformes.
Voici tous les jeux de données recommandés dans ce numéro. Téléchargez-les et utilisez-les en un clic !
