WebClick est un ensemble de données de référence de compréhension Web de haute qualité permettant d'évaluer la capacité des modèles et agents multimodaux à comprendre les interfaces Web, à interpréter les commandes des utilisateurs et à prendre des mesures précises dans les environnements numériques. L'ensemble de données contient 1 639 captures d'écran de pages Web en anglais provenant de plus de 100 sites Web, qui sont accompagnées d'instructions en langage naturel annotées avec précision et de cibles de clic au niveau des pixels.

Structure du jeu de données :

• agentbrowse(36%) : Pages rencontrées par l'agent SurferH lors de la résolution des tâches de récupération Web de WebVoyager
• humanbrowse (31.8%) : Pages et éléments avec lesquels les humains interagissent lors de l'exécution de tâches quotidiennes (achats en ligne, planification de voyage, organisation personnelle)
• calendriers (32.2%) : se concentre sur un sous-ensemble spécialisé d'interfaces de calendrier, ce qui constitue un défi connu pour les modèles de compréhension de l'interface utilisateur

Citation

@dataset{hcompany2025uinavigate,
author = {H Company Research Team},
title = {WebClick: A Multimodal Localization Benchmark for Web-Navigation Models},
year = {2025},
publisher = {H Company},
}
@misc{andreux2025surferhmeetsholo1costefficient,
title={Surfer-H Meets Holo1: Cost-Efficient Web Agent Powered by Open Weights},
author={Mathieu Andreux and Breno Baldas Skuk and Hamza Benchekroun and Emilien Biré and Antoine Bonnet and Riaz Bordie and Matthias Brunel and Pierre-Louis Cedoz and Antoine Chassang and Mickaël Chen and Alexandra D. Constantinou and Antoine d'Andigné and Hubert de La Jonquière and Aurélien Delfosse and Ludovic Denoyer and Alexis Deprez and Augustin Derupti and Michael Eickenberg and Mathïs Federico and Charles Kantor and Xavier Koegler and Yann Labbé and Matthew C. H. Lee and Erwan Le Jumeau de Kergaradec and Amir Mahla and Avshalom Manevich and Adrien Maret and Charles Masson and Rafaël Maurin and Arturo Mena and Philippe Modard and Axel Moyal and Axel Nguyen Kerbel and Julien Revelle and Mats L. Richter and María Santos and Laurent Sifre and Maxime Theillard and Marc Thibault and Louis Thiry and Léo Tronchon and Nicolas Usunier and Tony Wu},
year={2025},
eprint={2506.02865},
archivePrefix={arXiv},
primaryClass={cs.AI},
url={https://arxiv.org/abs/2506.02865},
}