WebClick est un ensemble de données de référence de compréhension Web de haute qualité permettant d'évaluer la capacité des modèles et agents multimodaux à comprendre les interfaces Web, à interpréter les commandes des utilisateurs et à prendre des mesures précises dans les environnements numériques.

L'ensemble de données contient 1 639 captures d'écran de pages Web en anglais provenant de plus de 100 sites Web, qui sont accompagnées d'instructions en langage naturel annotées avec précision et de cibles de clic au niveau des pixels.

Structure du jeu de données :

• agentbrowse(36%) : Pages rencontrées par l'agent SurferH lors de la résolution des tâches de récupération Web de WebVoyager
• humanbrowse (31.8%) : Pages et éléments avec lesquels les humains interagissent lors de l'exécution de tâches quotidiennes (achats en ligne, planification de voyage, organisation personnelle)
• calendriers (32.2%) : se concentre sur un sous-ensemble spécialisé d'interfaces de calendrier, ce qui constitue un défi connu pour les modèles de compréhension de l'interface utilisateur