Aria-UI: Visuelle Verankerung für GUI-Anweisungen

Digitale Agenten zur Automatisierung von Aufgaben auf verschiedenen Plattformen durch direkte Manipulation der GUIs gewinnen zunehmend an Bedeutung. Für diese Agenten bleibt die Verankerung von Sprachanweisungen auf Ziellemente ein erhebliches Problem aufgrund der Abhängigkeit von HTML- oder AXTree-Eingaben. In dieser Arbeit stellen wir Aria-UI vor, ein großes multimodales Modell, das speziell für die GUI-Verankerung entwickelt wurde. Aria-UI verwendet einen rein visuellen Ansatz und verzichtet auf die Nutzung von zusätzlichen Eingaben. Um sich an heterogene Planungsanweisungen anzupassen, schlagen wir eine skalierbare Datenpipeline vor, die vielfältige und hochwertige Anweisungsbeispiele für die Verankerung synthetisiert. Um dynamische Kontexte bei der Aufgabenerledigung zu bewältigen, integriert Aria-UI textuelle und text-bildliche interlineare Aktionsverläufe, was robustes kontextbewusstes Schließen für die Verankerung ermöglicht. Aria-UI erzielt neue Standarteergebnisse in offline- und online-Agentenbenchmarks und übertrifft sowohl reine visuelle als auch AXTree-abhängige Baseline-Modelle. Wir veröffentlichen alle Trainingsdaten und Modellcheckpoints unter https://ariaui.github.io, um weitere Forschungen zu fördern.