Ein hybrider Rahmenwerk für die Video-Anomalieerkennung durch speichererweiterte Flussrekonstruktion und flussgeleitete Frame-Vorhersage

In diesem Paper stellen wir $\text{HF}^2$-VAD vor, einen hybriden Ansatz, der die Rekonstruktion von Flüssen und die Vorhersage von Bildern nahtlos integriert, um die Anomalieerkennung in Videos zu bewältigen. Zunächst entwerfen wir das Netzwerk ML-MemAE-SC (Multi-Level Memory Module in einem Autoencoder mit Skip Connections), um normale Muster für die Rekonstruktion von optischen Flüssen zu speichern, sodass anomale Ereignisse sensitiv anhand größerer Fehler in der Flussrekonstruktion erkannt werden können. Wichtiger noch: Unter der Bedingung der rekonstruierten Flüsse nutzen wir anschließend einen bedingten Variationalen Autoencoder (CVAE), der die hohe Korrelation zwischen Videoframes und optischen Flüssen erfasst, um den nächsten Frame basierend auf mehreren vorherigen Frames vorherzusagen. Durch den CVAE beeinflusst die Qualität der Flussrekonstruktion entscheidend die Qualität der Frame-Vorhersage. Daher verschlechtert sich die Qualität des letztendlich vorhergesagten zukünftigen Frames bei anomalen Ereignissen, die schlecht rekonstruiert werden, weiter, was die Anomalien noch deutlicher erkennbar macht. Experimentelle Ergebnisse belegen die Wirksamkeit des vorgeschlagenen Ansatzes. Der Quellcode ist unter \href{https://github.com/LiUzHiAn/hf2vad}{https://github.com/LiUzHiAn/hf2vad} verfügbar.