17일 전

SPAct: 행동 인식을 위한 자기지도형 프라이버시 보존

Ishan Rajendrakumar Dave, Chen Chen, Mubarak Shah
SPAct: 행동 인식을 위한 자기지도형 프라이버시 보존
초록

시각적 개인 정보 유출은 활동 인식과 같은 영상 이해 기술의 급속한 발전과 함께 등장한 주요 이슈 중 하나이다. 기존의 활동 인식에서의 개인정보 유출 완화 기법들은 영상 데이터셋에서 활동 레이블과 함께 개인정보 레이블을 요구한다. 그러나 영상 데이터셋의 프레임에 대해 개인정보 레이블을 수작업으로 주석화하는 것은 실현 가능성이 낮다. 최근 자기지도 학습(self-supervised learning, SSL)의 발전은 레이블이 없는 데이터의 잠재적 가치를 극대화할 수 있는 기회를 열어주었다. 본 연구에서는 처음으로 개인정보 레이블이 필요 없이 입력 영상에서 개인정보 정보를 자기지도 방식으로 제거하는 새로운 학습 프레임워크를 제안한다. 제안하는 프레임워크는 세 가지 주요 구성 요소로 이루어져 있다: 익명화 함수(Anonymization Function), 자기지도적 개인정보 제거 브랜치, 그리고 활동 인식 브랜치이다. 본 프레임워크는 대조적 자기지도 손실(contrastive self-supervised loss)을 활용하여, 최소화 전략을 통해 활동 인식 비용 함수를 최소화하고, 동시에 개인정보 비용 함수를 최대화하는 미니맥스 최적화 전략을 사용해 학습한다. 기존의 알려진 활동 및 개인정보 속성에 대한 표준 프로토콜을 활용하여, 제안한 프레임워크는 기존 최상위의 지도 학습 기법과 경쟁 가능한 활동-개인정보 간의 트레이드오프를 달성하였다. 더불어, 새로운 프로토콜을 도입하여 학습된 익명화 함수가 새로운 활동 및 개인정보 속성에 대해 얼마나 일반화되는지를 평가하였으며, 그 결과 자기지도 기반 프레임워크가 기존 지도 학습 방법들을 능가함을 입증하였다. 코드는 다음에서 공개됨: https://github.com/DAVEISHAN/SPAct