VenusBench-GD est un jeu de données destiné à la localisation et à la compréhension des éléments d'interface utilisateur graphique (GUI), publié en 2025 par Ant Group en collaboration avec iMean AI. Parmi les articles de recherche associés, on peut citer… VenusBench-GD : un banc d’essai complet d’interface graphique multiplateforme pour diverses tâches de mise à la terreL'objectif est d'évaluer la capacité du modèle à identifier et à localiser avec précision les éléments d'interface cibles à partir d'instructions en langage naturel sur différentes interfaces de plateforme.

Ce jeu de données contient 6 166 échantillons étiquetés manuellement, couvrant deux tâches : la localisation de base et l’inférence avancée. Chaque échantillon est composé d’une capture d’écran de l’interface et d’une commande en langage naturel correspondante. Les données proviennent de 97 applications et sites web différents, couvrant les plateformes web, mobiles et de bureau, et incluent des interfaces en chinois et en anglais. Les tâches de base évaluent principalement la compréhension par le modèle des types d’éléments d’interface, du contenu textuel, des relations spatiales et de l’apparence visuelle. Les tâches avancées introduisent l’inférence, la compréhension fonctionnelle et le rejet justifié des cibles inexistantes, exigeant davantage du modèle une compréhension globale de l’interface et des capacités d’inférence sémantique. Grâce à un processus de génération automatisée en plusieurs étapes et de révision manuelle, ce jeu de données réduit efficacement le bruit et l’ambiguïté des annotations tout en conservant son ampleur, fournissant ainsi une base de données fiable pour l’évaluation des agents d’interface graphique et des modèles multimodaux.