분리된 시공간 조각 퍼즐을 푸는 방식을 통한 비디오 이상 탐지

비디오 이상 탐지(VAD)는 컴퓨터 비전 분야에서 중요한 주제이다. 최근 자기지도 학습(Self-supervised Learning)의 발전에 힘입어, 본 논문은 직관적이지만 도전적인 사전 과제인 공간-시간 조각 퍼즐(Spatio-Temporal Jigsaw Puzzles)을 해결함으로써 VAD 문제를 접근한다. 이 사전 과제는 다중 레이블 세분화 분류 문제로 정식화된다. 제안하는 방법은 기존 연구들과 비교해 다음과 같은 여러 장점을 갖는다: 1) 공간-시간 조각 퍼즐은 공간적 차원과 시간적 차원으로 분리되어 각각 고도로 구분 가능한 외형 특징과 운동 특징을 추출하는 데 기여한다; 2) 전체 순열(Complete Permutations)을 사용하여 다양한 난이도 수준의 퍼즐을 풍부하게 제공함으로써, 정상 및 비정상 사건 간 미세한 공간-시간적 차이를 구분할 수 있는 네트워크 학습을 가능하게 한다; 3) 사전 모델의 사전 학습에 의존하지 않고, 엔드 투 엔드(end-to-end) 방식으로 사전 과제를 해결한다. 제안한 방법은 세 가지 공개 벤치마크에서 최첨단 기법들을 모두 상회하며, 특히 상하이공학기술대학 캠퍼스(ShanghaiTech Campus) 데이터셋에서 재구성 기반 및 예측 기반 방법들에 비해 큰 성능 우위를 보였다.