L’utilisation par ordinateur (Computer Use) désigne la capacité d’un agent à utiliser un ordinateur comme le fait un humain — en regardant l’écran, en déplaçant la souris, en tapant au clavier et en basculant entre les logiciels, sans dépendre d’interfaces dédiées. Elle vise à résoudre le problème du « dernier kilomètre » : de nombreux logiciels ne disposent pas d’API, ou leurs API sont limitées ; ainsi, si les humains utilisent ces logiciels d’une certaine manière, les agents doivent faire de même.

Le point de départ public de l’utilisation par ordinateur remonte à octobre 2024, avec la publication par Anthropic d’une capacité de modèle (note officielle permettant au modèle de manipuler directement le bureau via des captures d’écran et des coordonnées. Au même moment, Xie et al. ont présenté dans l’article OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments le premier benchmark extensible basé sur des environnements informatiques réels.

L’évaluation de l’utilisation par ordinateur repose sur une évaluation exécutive. OSWorld configure des environnements dans des systèmes réels sous Ubuntu, Windows et macOS, en proposant 369 tâches couvrant les applications web et de bureau, la lecture et l’écriture de fichiers, ainsi que la coordination entre plusieurs applications ; chaque tâche provient d’un scénario d’usage réel. Contrairement aux évaluations qui ne considèrent que la réponse finale, l’évaluation exécutive vérifie l’état du système après l’accomplissement de la tâche, se rapprochant davantage de la réalité : « l’affaire a-t-elle réellement été menée à bien ? »

La boucle technologique de l’utilisation par ordinateur suit le schéma « observer—réfléchir—cliquer » : les modèles multimodaux convertissent les captures d’écran en coordonnées et en actions. Cette approche transforme la capacité à « savoir utiliser un ordinateur » en une compétence mesurable et reproductible, définissant des repères de capacité pour les assistants numériques généralistes. Les défis restent néanmoins clairs : la localisation des éléments d’interface (grounding), l’accumulation d’erreurs dans les tâches à long terme, la récupération après échec d’une opération, ainsi que les risques de sécurité liés aux clics et suppressions accidentelles.