WebClick ist ein hochwertiger Benchmark-Datensatz zum Web-Verständnis zur Bewertung der Fähigkeit multimodaler Modelle und Agenten, Web-Schnittstellen zu verstehen, Benutzerbefehle zu interpretieren und in digitalen Umgebungen präzise Aktionen auszuführen. Der Datensatz enthält 1.639 Screenshots von englischsprachigen Webseiten von mehr als 100 Websites, die von präzise kommentierten Anweisungen in natürlicher Sprache und Klickzielen auf Pixelebene begleitet werden.

Datensatzstruktur:

• agentbrowse(36%): Seiten, die der SurferH-Agent beim Lösen der Web-Abrufaufgaben von WebVoyager gefunden hat
• humanbrowse (31,8%): Seiten und Elemente, mit denen Menschen bei der Ausführung alltäglicher Aufgaben interagieren (E-Shopping, Reiseplanung, persönliche Organisation)
• Kalender (32.2%): Konzentriert sich auf eine spezialisierte Teilmenge von Kalenderschnittstellen, was eine bekannte Herausforderung für UI-Verständnismodelle darstellt

Zitat

@dataset{hcompany2025uinavigate,
author = {H Company Research Team},
title = {WebClick: A Multimodal Localization Benchmark for Web-Navigation Models},
year = {2025},
publisher = {H Company},
}
@misc{andreux2025surferhmeetsholo1costefficient,
title={Surfer-H Meets Holo1: Cost-Efficient Web Agent Powered by Open Weights},
author={Mathieu Andreux and Breno Baldas Skuk and Hamza Benchekroun and Emilien Biré and Antoine Bonnet and Riaz Bordie and Matthias Brunel and Pierre-Louis Cedoz and Antoine Chassang and Mickaël Chen and Alexandra D. Constantinou and Antoine d'Andigné and Hubert de La Jonquière and Aurélien Delfosse and Ludovic Denoyer and Alexis Deprez and Augustin Derupti and Michael Eickenberg and Mathïs Federico and Charles Kantor and Xavier Koegler and Yann Labbé and Matthew C. H. Lee and Erwan Le Jumeau de Kergaradec and Amir Mahla and Avshalom Manevich and Adrien Maret and Charles Masson and Rafaël Maurin and Arturo Mena and Philippe Modard and Axel Moyal and Axel Nguyen Kerbel and Julien Revelle and Mats L. Richter and María Santos and Laurent Sifre and Maxime Theillard and Marc Thibault and Louis Thiry and Léo Tronchon and Nicolas Usunier and Tony Wu},
year={2025},
eprint={2506.02865},
archivePrefix={arXiv},
primaryClass={cs.AI},
url={https://arxiv.org/abs/2506.02865},
}