STemGAN: 비디오 이상 탐지용 시공간 생성적 적대 신경망

대규모 비디오 감시 시스템에서 이상 사건의 자동 탐지 및 해석은 핵심적인 과제로 부상하고 있다. 이러한 과제의 도전성은 이상 상태에 대한 명확한 정의가 부족하기 때문에 감독 학습 기법의 활용이 제한되기 때문이다. 이를 해결하기 위해 본 연구에서는 새로운 비감독 이상 탐지 방법인 공간-시간 생성적 적대 신경망(Spatio-Temporal Generative Adversarial Network, STemGAN)을 제안한다. 이 프레임워크는 비디오의 맥락을 학습하는 생성기(generator)와 판별기(discriminator)로 구성되며, 공간적 및 시간적 정보를 활용하여 미래 프레임을 예측한다. 생성기는 오토인코더(Autoencoder, AE) 아키텍처를 따르며, 외형 정보와 운동 정보를 추출하기 위한 이중 스트림 인코더(dual-stream encoder)와, 동적 전경 특징에 주목하기 위해 채널 주의 메커니즘(Channel Attention, CA) 모듈을 포함한 디코더를 갖는다. 또한, STemGAN의 일반화 능력을 향상시키기 위한 전이 학습(transfer learning) 방법도 제안한다. 기존 최첨단 기법들과의 성능 비교를 위해 표준 평가 지표인 AUC(Area Under Curve)와 EER(Equal Error Rate)를 사용하여 주요 이상 탐지(Anomaly Detection, AD) 데이터셋을 기반으로 실험을 수행하였다. 실험 결과, 제안하는 STemGAN은 기존 최첨단 기법들을 모두 상회하며, UCSDPed2에서는 AUC 97.5%, CUHK Avenue에서는 86.0%, Subway-entrance에서는 90.4%, Subway-exit에서는 95.2%의 성능을 달성하였다.