Abstract

Computerbasierte Agenten, die von Vision-Language-Modellen (VLMs) angetrieben werden, haben menschenähnliche Fähigkeiten bei der Steuerung digitaler Umgebungen wie mobilen Plattformen demonstriert. Obwohl diese Agenten großes Potenzial für die Weiterentwicklung der digitalen Automatisierung bieten, wecken ihre Gefahren potenziell unsicherer Aktionen – beispielsweise Systemkompromittierungen oder Datenschutzverletzungen – erhebliche Bedenken. Die Erkennung solcher Sicherheitsrisiken in dem umfangreichen und komplexen operativen Raum mobiler Umgebungen stellt eine herausfordernde Aufgabe dar, die bislang kritisch unterschätzt und wenig erforscht ist. Um eine Grundlage für die Forschung zu Sicherheit von mobilen Agenten zu schaffen, führen wir MobileRisk-Live ein – eine dynamische Sandbox-Umgebung, begleitet von einer Sicherheitsdetektionsbenchmark mit realistischen Ablaufverläufen und feinabgestuften Annotationen. Auf dieser Basis entwickeln wir OS-Sentinel, einen neuartigen hybriden Sicherheitsdetektionsansatz, der formale Verifizierer zur Erkennung expliziter, systemweiter Verstöße und einen VLM-basierten kontextuellen Urteilsmechanismus zur Beurteilung kontextueller Risiken und Agentenaktionen synergistisch kombiniert. Experimente zeigen, dass OS-Sentinel gegenüber bestehenden Ansätzen in mehreren Metriken um 10 % bis 30 % bessere Ergebnisse erzielt. Eine weitere Analyse liefert zentrale Erkenntnisse, die die Entwicklung sicherer und zuverlässiger autonomer mobile Agenten voranbringen.