Der Begriff „Computer Use“ (Computernutzung) bezeichnet die Fähigkeit von KI-Agenten, einen Computer so zu bedienen wie ein Mensch – durch Betrachten des Bildschirms, Bewegen der Maus, Tippen auf der Tastatur und Wechseln zwischen Anwendungen –, ohne sich auf spezielle Schnittstellen zu verlassen. Es geht darum, die „letzte Meile“ zu überbrücken: Viele Softwareanwendungen bieten keine API an oder deren Funktionen sind eingeschränkt, weshalb der Agent genau so arbeiten muss, wie es ein Mensch tun würde.

Der öffentliche Startpunkt für Computer Use war die Veröffentlichung einer Modellfähigkeit durch Anthropic im Oktober 2024 (offizielle Dokumentation ), bei der das Modell den Desktop direkt über Screenshots und Koordinaten bediente. Parallel dazu erstellten Xie et al. in der Arbeit OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments den ersten skalierbaren Benchmark für reale Computerumgebungen.

Die Evaluierungsmethode für Computer Use ist die ausführungsorientierte Bewertung. OSWorld stellt Umgebungen auf echten Ubuntu-, Windows- und macOS-Systemen bereit und umfasst 369 Aufgaben, die Web- und Desktop-Anwendungen, Datei-E/A-Operationen sowie die Verknüpfung mehrerer Anwendungen abdecken; jede Aufgabe stammt aus einem realen Nutzungsszenario. Im Gegensatz zu Bewertungen, die nur das Endergebnis prüfen, kontrolliert die ausführungsorientierte Bewertung den Systemzustand nach Abschluss der Aufgabe und kommt damit dem Kriterium „die Aufgabe tatsächlich erledigt zu haben“ näher.

Der technische Kreislauf für Computer Use folgt dem Muster „Sehen – Denken – Klicken“: Multimodale Modelle wandeln Bildschirm-Screenshots in Koordinaten und Aktionen um. Dies verwandelt die Fähigkeit „einen Computer bedienen zu können“ in eine messbare und reproduzierbare Kompetenz und definiert die Kompetenzgrenzen für allgemeine digitale Assistenten. Die Herausforderungen sind jedoch klar: die Lokalisierung von UI-Elementen (Grounding), die Fehlerakkumulation bei langlaufenden Aufgaben, die Wiederherstellung nach fehlgeschlagenen Aktionen sowie Sicherheitsrisiken durch versehentliches Klicken oder Löschen.