メモリ拡張型フロー再構成とフロー誘導型フレーム予測を用いたハイブリッド動画異常検出フレームワーク

本稿では、動画異常検出（Video Anomaly Detection）に対応するため、流れ（optical flow）再構成とフレーム予測をシームレスに統合するハイブリッドフレームワーク「HF²-VAD」を提案する。まず、正常パターンを記憶するためのネットワークとして、スキップ接続を備えた自己符号化器内に複数レベルのメモリモジュール（ML-MemAE-SC）を設計した。この構造により、正常な動きパターンを効果的に学習し、異常イベントでは流れ再構成誤差が大きくなるようにすることで、異常の敏感な検出を実現する。さらに、再構成された流れを条件として、動画フレームと流れの高い相関関係を捉えるため、条件付き変分自己符号化器（CVAE）を用いて、複数の過去フレームから次のフレームを予測する。このCVAEにおいて、流れの再構成品質がフレーム予測品質に本質的に影響を与える。したがって、異常イベントでは再構成品質が劣る流れが、最終的な未来フレーム予測品質をさらに低下させることとなり、結果として異常がより明確に検出可能となる。実験結果から、提案手法の有効性が示された。コードは以下のURLから入手可能である：\href{https://github.com/LiUzHiAn/hf2vad}{https://github.com/LiUzHiAn/hf2vad}。