Résumé

La construction d’agents capables de s’adapter à des environnements web, bureau et mobile demeure un défi ouvert, les systèmes antérieurs s’appuyant sur des interfaces spécifiques à chaque environnement, ce qui limite leur déploiement interplateforme. Nous introduisons Surfer 2, une architecture unifiée fonctionnant exclusivement à partir d’observations visuelles, qui atteint des performances de pointe sur les trois environnements. Surfer 2 intègre une gestion hiérarchique du contexte, une planification et une exécution déconnectées, ainsi qu’une auto-vérification avec récupération adaptative, permettant une opération fiable sur de longues horizons de tâches. Notre système atteint une précision de 97,1 % sur WebVoyager, 69,6 % sur WebArena, 60,1 % sur OSWorld et 87,1 % sur AndroidWorld, surpassant tous les systèmes antérieurs sans adaptation fine spécifique à la tâche. Avec plusieurs tentatives, Surfer 2 dépasse les performances humaines sur l’ensemble des benchmarks. Ces résultats démontrent que l’orchestration systématique amplifie les capacités des modèles fondamentaux et permet un contrôle informatique généraliste par simple interaction visuelle, tout en soulignant la nécessité d’un nouveau modèle vision-langage de nouvelle génération pour atteindre un équilibre optimal en termes de coût et d’efficacité.