Un cadre hybride de détection d’anomalies vidéo basé sur la reconstruction du flux augmentée par mémoire et la prédiction d’images guidée par le flux

Dans cet article, nous proposons $\text{HF}^2$-VAD, un cadre hybride qui intègre de manière fluide la reconstruction de flux optique et la prédiction de trames pour détecter les anomalies dans les vidéos. Tout d’abord, nous concevons un réseau ML-MemAE-SC (Multi-Level Memory modules in an Autoencoder with Skip Connections) afin de mémoriser les motifs normaux pour la reconstruction du flux optique, permettant ainsi d’identifier sensiblement les événements anormaux grâce à des erreurs de reconstruction de flux plus importantes. Plus important encore, à partir des flux reconstruits, nous utilisons ensuite un Autoencodeur Variationnel Conditionnel (CVAE), qui capture la forte corrélation entre les trames vidéo et le flux optique, pour prédire la trame suivante à partir de plusieurs trames précédentes. Grâce au CVAE, la qualité de la reconstruction du flux optique influence directement celle de la prédiction de trame. Par conséquent, les flux optiques mal reconstruits associés aux événements anormaux aggravent davantage la qualité de la trame future prédite, rendant ainsi les anomalies plus détectables. Les résultats expérimentaux démontrent l’efficacité de la méthode proposée. Le code est disponible à l’adresse \href{https://github.com/LiUzHiAn/hf2vad}{https://github.com/LiUzHiAn/hf2vad}.