Résumé

Les agents informatiques pilotés par des modèles vision-langage (VLM) ont démontré des capacités proches de celles des humains dans l'exploitation d'environnements numériques tels que les plateformes mobiles. Bien que ces agents offrent un potentiel prometteur pour l'automatisation numérique, leurs risques potentiels d'opérations non sécurisées — telles que la compromission du système ou la fuite de données personnelles — suscitent des inquiétudes croissantes. La détection de ces problèmes de sécurité dans l'espace opérationnel vaste et complexe des environnements mobiles constitue un défi majeur, encore largement sous-étudié. Pour établir une base solide pour la recherche en sécurité des agents mobiles, nous introduisons MobileRisk-Live, un environnement de sandbox dynamique accompagné d'une benchmark de détection de sécurité comprenant des trajectoires réalistes annotées avec une granularité fine. À partir de cet environnement, nous proposons OS-Sentinel, un cadre novateur de détection hybride de sécurité, qui combine de manière synergique un vérificateur formel pour détecter les violations explicites au niveau du système et un juge contextuel basé sur un VLM pour évaluer les risques contextuels et les actions des agents. Les expérimentations montrent qu’OS-Sentinel améliore les performances des approches existantes de 10 à 30 % selon plusieurs métriques. Une analyse approfondie fournit en outre des insights cruciaux favorisant le développement d’agents mobiles autonomes plus sûrs et plus fiables.