자기지도형 희소 표현을 이용한 비디오 이상 탐지

비디오 이상 탐지(VAD)는 비디오 시퀀스 내 예기치 않은 행동이나 활동을 위치화하는 것을 목표로 한다. 기존의 주류 VAD 기법은 모두 정상 데이터만을 포함하는 일종의 분류(one-class formulation) 또는 비디오 수준의 정상/이상 레이블만 요구하는 약한 지도 학습(weakly-supervised) 방식에 기반하고 있다. 두 가지 VAD 설정을 통합적으로 해결하기 위해, 사전 기반 표현과 자기 지도 학습(self-supervised learning) 간의 상호작용을 탐색함으로써 특징 수준에서 이상의 개념을 모델링하는 자기 지도형 희소 표현(S3R) 프레임워크를 제안한다. 학습된 사전을 기반으로 S3R는 스니펫 수준의 특징을 재구성하고 정상 이벤트 특징을 필터링하는 두 가지 상호 연결된 모듈, 즉 en-Normal과 de-Normal을 지원한다. 또한 자기 지도 학습 기법을 통해 가상의 정상/이상 샘플을 생성하여 이상 탐지기 학습에 활용할 수 있다. 광범위한 실험을 통해 S3R가 일종의 분류 및 약한 지도 학습 기반 VAD 작업 모두에서 주요 벤치마크 데이터셋에서 새로운 최고 성능을 달성함을 입증하였다. 본 연구의 코드는 https://github.com/louisYen/S3R 에 공개되어 있다.