17 天前

SPAct:面向动作识别的自监督隐私保护

Ishan Rajendrakumar Dave, Chen Chen, Mubarak Shah
SPAct:面向动作识别的自监督隐私保护
摘要

视觉隐私信息泄露是视频理解类应用(如行为识别)快速发展的背景下一个新兴的关键问题。现有的行为识别中缓解隐私泄露的方法通常需要视频数据集中同时提供行为标签和隐私标签。然而,对视频帧进行隐私标签的人工标注在实际操作中并不可行。近年来,自监督学习(Self-Supervised Learning, SSL)的发展释放了未标注数据的巨大潜力。本文首次提出一种新颖的训练框架,能够在无需隐私标签的情况下,以自监督的方式从输入视频中去除隐私信息。该框架由三个核心组件构成:匿名化函数、自监督隐私移除分支以及行为识别分支。我们采用极小极大优化策略训练该框架,通过对比自监督损失最小化行为识别的损失函数,同时最大化隐私泄露的损失函数。在利用已知行为与隐私属性的现有评估协议下,本框架在行为识别与隐私保护之间的权衡上达到了与当前最先进监督方法相当的性能。此外,我们提出一种新的评估协议,用于检验所学习的匿名化函数在新型行为与隐私属性上的泛化能力,实验结果表明,本自监督框架在泛化性能上优于现有的监督方法。代码已公开:https://github.com/DAVEISHAN/SPAct