WebClick ist ein hochwertiger Benchmark-Datensatz zum Web-Verständnis zur Bewertung der Fähigkeit multimodaler Modelle und Agenten, Web-Schnittstellen zu verstehen, Benutzerbefehle zu interpretieren und in digitalen Umgebungen präzise Aktionen auszuführen.

Der Datensatz enthält 1.639 Screenshots von englischsprachigen Webseiten von mehr als 100 Websites, die von präzise kommentierten Anweisungen in natürlicher Sprache und Klickzielen auf Pixelebene begleitet werden.

Datensatzstruktur:

• agentbrowse(36%): Seiten, die der SurferH-Agent beim Lösen der Web-Abrufaufgaben von WebVoyager gefunden hat
• humanbrowse (31,8%): Seiten und Elemente, mit denen Menschen bei der Ausführung alltäglicher Aufgaben interagieren (E-Shopping, Reiseplanung, persönliche Organisation)
• Kalender (32.2%): Konzentriert sich auf eine spezialisierte Teilmenge von Kalenderschnittstellen, was eine bekannte Herausforderung für UI-Verständnismodelle darstellt