메모리 증강 흐름 재구성과 흐름 안내 프레임 예측을 통한 하이브리드 비디오 이상 탐지 프레임워크

본 논문에서는 비디오 이상 탐지(Video Anomaly Detection)를 효과적으로 수행하기 위해 흐름 재구성(flow reconstruction)과 프레임 예측(frame prediction)을 원활하게 통합하는 하이브리드 프레임워크인 $\text{HF}^2$-VAD를 제안한다. 먼저, 정상 패턴을 기억하여 광학 흐름 재구성에 활용할 수 있도록, 스킵 연결을 갖춘 오토인코더 내부에 다수의 레벨 메모리 모듈(Multi-Level Memory modules, ML-MemAE-SC)을 설계하였다. 이를 통해 이상 사건은 더 큰 흐름 재구성 오차를 보이며 민감하게 탐지될 수 있다. 더욱 중요한 점은, 재구성된 흐름을 조건으로 하여 조건부 변분 오토인코더(Conditional Variational Autoencoder, CVAE)를 도입하여, 비디오 프레임과 광학 흐름 간의 높은 상관관계를 모델링하고, 이전 몇 개의 프레임을 기반으로 다음 프레임을 예측하는 방식을 채택한 것이다. CVAE의 성능은 흐름 재구성의 품질에 크게 의존하므로, 이상 사건에 대한 낮은 품질의 흐름 재구성은 최종 예측된 미래 프레임의 품질을 더욱 저하시켜, 이상 현상을 더욱 명확하게 드러내게 된다. 실험 결과는 제안한 방법의 유효성을 입증한다. 관련 코드는 \href{https://github.com/LiUzHiAn/hf2vad}{https://github.com/LiUzHiAn/hf2vad}에서 공개되어 있다.