실세계 이상 탐지용 후기 퍼지 융합을 갖춘 다중 스트림 딥 신경망

비디오 내 이상 사건 탐지는 이상치 탐지(Outlier Detection)로도 알려져 있으며, 머신러닝 기법이 이 분야에서 매우 효과적이다. 미지의 비디오를 테스트할 때 이러한 방법의 목적은 비디오의 카테고리를 확인하는 것, 예를 들어 정상(normal) 또는 비정상(anomalous) 여부를 판단하는 것이다. 본 논문은 정상 및 비정상 비디오의 시각적 정보를 활용하여, 비디오 분류를 위한 깊은 다중 예제 학습(Multiple Instance Learning, MIL) 분류기를 학습한다. 기존의 다중 예제 학습 분류기는 학습 비디오에 단기적인 이상 사건만 포함된다는 가정을 하고 있으나, 이 가정은 모든 실제 세계의 이상 현상에 대해 항상 성립하는 것은 아니다. 또한, 학습 비디오 내에서 이상 사건이 여러 번 반복 발생할 가능성도 배제할 수 없다. 본 논문은 특징 추출 과정에 시간 정보(temporal information)를 도입함으로써 이상 탐지 성능을 향상시킬 수 있음을 보여준다. 이를 달성하기 위해, 학습 비디오에 대해 두 개의 스펙트로-시공간적(Spatio-temporal) 깊은 특징 추출기(Deep Feature Extractors)를 병렬로 적용하였다. 이 두 스트림은 이후 수정된 다중 예제 학습 기반 분류기를 학습하는 데 사용된다. 마지막으로, 이상 점수를 융합하기 위해 퍼지 집계(Fuzzy Aggregation) 기법이 적용되었다. 또한, 화재 및 사고 사건의 분류 성능을 검증하기 위해 두 가지 경량(Lightweight) 딥러닝 분류기도 활용되었다. 제안된 방법의 신뢰성과 성능을 평가하기 위해, 13개의 이상 카테고리를 포함하는 UCF-Crime 비디오 데이터셋을 대상으로 광범위한 실험이 수행되었다. 데이터셋은 행동의 심각도에 따라 다섯 가지 광범위한 카테고리로 재구성되어, 제안된 방법의 강건성(로버스트성)을 평가하는 데 사용되었다. 본 논문은 파이프라인에 시간 특징을 통합함으로써 이상 탐지 정확도가 크게 향상될 수 있음을 충분한 실증적 증거로 제시하고 있다. 특히, 기존 방법으로는 탐지가 어려웠던 장기 지속적인 이상 사건도 본 모델을 통해 효과적으로 탐지할 수 있다. 제안된 엔드투엔드 다중 스트림 아키텍처는 최대 84.48%의 정확도로 비정상 사건 탐지를 수행하며, 기존 비디오 이상 탐지 방법보다 뛰어난 성능을 보였다. 또한, 다양한 광범위 카테고리에서 클래스별 탐지 정확도는 6%~14%까지 개선되었다.