비디오에서 비정상 이벤트를 감지하기 위한 객체 중심 오토인코더와 더미 이상치

비디오에서 비정상 이벤트를 감지하는 것은 도전적인 시각 문제입니다. 대부분의 기존 접근 방식은 훈련 과정에서 비정상 데이터의 부족성 때문에 비정상 이벤트 감지를 이상치 검출 작업으로 정식화합니다. 비정상 이벤트에 대한 사전 정보가 부족하기 때문에 이러한 방법들은 정상과 비정상 이벤트를 완벽하게 구분할 수 없습니다. 본 연구에서는 비정상 이벤트 감지를 일대다(One-vs-Rest) 이진 분류 문제로 정식화하였습니다. 우리의 기여는 두 가지입니다. 첫째, 객체 중심 컨볼루셔널 오토인코더(Object-Centric Convolutional Auto-Encoders)를 기반으로 하는 무감독 특징 학습 프레임워크를 소개하여 운동 및 외관 정보를 모두 인코딩합니다. 둘째, 훈련 샘플을 정상 클러스터로 군집화하는 기반의 지도 분류 접근 방식을 제안합니다. 일대다 비정상 이벤트 분류기가 각각의 정상 클러스터와 나머지를 구분하도록 사용됩니다. 분류기 훈련을 위해 다른 클러스터들은 더미 비정상을 역할합니다. 추론 과정에서는 일대다 분류기에 의해 할당된 가장 높은 분류 점수가 음수일 경우 객체가 비정상으로 라벨링됩니다. 네 가지 벤치마크(Avenue, ShanghaiTech, UCSD, UMN)에서 포괄적인 실험이 수행되었습니다. 우리의 접근 방식은 모든 네 개의 데이터 세트에서 우수한 결과를 제공합니다. 대규모 ShanghaiTech 데이터 세트에서 우리 방법은 최신 기술[Sultani et al., CVPR 2018]보다 프레임 단위 AUC 측면에서 절대적으로 8.4%의 성능 향상을 보였습니다.