다중 랭킹 측정을 통한 운동 및 외관의 공동 학습을 기반으로 한 비디오 내 이상 사건 인식

annotated 데이터셋의 부족으로 인해 비정상적 사건의 맥락 의존성 학습 및 오경보 감소는 비정상 행동 탐지 작업에서 큰 도전 과제이다. 본 연구에서는 운동 및 외관 특징에 대한 공동 학습 기법을 활용하여 맥락 의존성을 해결하는 프레임워크인 다중 순위 측정을 갖춘 딥 네트워크(DMRMs)를 제안한다. DMRMs에서는 3차원 잔차 네트워크(3D ResNet)를 사용하여 비디오에서 공간-시간 의존적 특징을 추출하고, Motionflow 맵 정보를 3D ResNet과 통합함으로써 심층적 운동 특징을 추출한다. 이후 추출된 특징들은 융합되어 공동 학습을 수행한다. 이 데이터 융합은 이후 심층 신경망을 통해 심층 다중 인스턴스 학습(DMIL)에 입력되며, 제안된 다중 순위 측정(MRMs)을 사용하여 약한 감독 방식으로 맥락 의존성을 학습한다. MRMs는 오경보에 대한 여러 가지 측정 기준을 고려하며, 정상 및 비정상 사건 모두를 사용하여 네트워크를 학습함으로써 오경보율을 감소시킨다. 한편, 추론 단계에서는 운동 흐름 맵을 활용하여 각 프레임의 비정상성 점수와 이동 객체의 위치를 예측한다. 높은 비정상성 점수는 비정상 사건의 존재를 나타낸다. 최근且 도전적인 두 개의 데이터셋에 대한 실험 결과를 통해 제안된 프레임워크가 UCF-Crime 데이터셋에서 최신 기법 대비 AUC 점수를 6.5% 향상시키며, 상하이기술대학(ShanghaiTech) 데이터셋에서는 AUC 68.5%의 성능을 달성함을 입증하였다.