Command Palette
Search for a command to run...

摘要
基于视觉-语言模型(VLMs)的计算机操作代理在操控移动平台等数字环境方面已展现出类人能力。尽管这类代理在推动数字自动化方面具有巨大潜力,但其可能引发的不安全操作行为,如系统入侵和隐私泄露,正引发广泛关注。在移动环境庞大而复杂的操作空间中识别这些安全风险,构成了一个极具挑战性的问题,目前仍处于严重研究不足的状态。为建立移动代理安全研究的基础,我们提出了MobileRisk-Live——一个动态沙箱环境,并配套构建了一个安全检测基准,包含具有细粒度标注的真实操作轨迹。基于此,我们进一步提出OS-Sentinel,一种新型的混合式安全检测框架,该框架通过形式化验证器(Formal Verifier)协同检测显式的系统级违规行为,同时结合基于VLM的上下文判别器(Contextual Judge)评估上下文风险与代理行为。实验结果表明,OS-Sentinel在多个指标上相较现有方法实现了10%至30%的性能提升。进一步分析揭示了关键洞见,为开发更安全、更可靠的自主移动代理提供了重要指导。