VenusBench-GD ist ein Datensatz zur Lokalisierung und zum Verständnis von Elementen grafischer Benutzeroberflächen (GUI), der 2025 von der Ant Group in Zusammenarbeit mit iMean AI veröffentlicht wurde. Zugehörige Forschungsarbeiten umfassen… VenusBench-GD: Ein umfassender, plattformübergreifender GUI-Benchmark für diverse ErdungsaufgabenZiel ist es, die Fähigkeit des Modells zu bewerten, Zielelemente der Benutzeroberfläche anhand von natürlichsprachlichen Anweisungen über verschiedene Plattformschnittstellen hinweg genau zu identifizieren und zu lokalisieren.

Dieser Datensatz umfasst 6.166 manuell annotierte Beispiele für zwei Aufgaben: grundlegende Lokalisierung und fortgeschrittene Inferenz. Jedes Beispiel besteht aus einem Screenshot der Benutzeroberfläche und dem zugehörigen Befehl in natürlicher Sprache. Die Daten stammen aus 97 verschiedenen Anwendungen und Websites für Web-, Mobil- und Desktop-Plattformen und beinhalten sowohl chinesische als auch englische Benutzeroberflächen. Die grundlegenden Aufgaben bewerten primär das Verständnis des Modells für Benutzeroberflächenelemente, Textinhalte, räumliche Beziehungen und das visuelle Erscheinungsbild. Die fortgeschrittenen Aufgaben beinhalten zusätzlich Inferenz, funktionales Verständnis und die sinnvolle Ablehnung nicht existierender Ziele und stellen somit höhere Anforderungen an das globale Verständnis der Benutzeroberfläche und die semantischen Inferenzfähigkeiten des Modells. Durch einen mehrstufigen automatisierten Generierungs- und manuellen Überprüfungsprozess reduziert dieser Datensatz effektiv Annotationsrauschen und Mehrdeutigkeiten bei gleichzeitiger Beibehaltung seines Umfangs und bietet somit eine zuverlässige Datengrundlage für die Evaluierung von GUI-Agenten und multimodalen Modellen.