Modèle de diffusion de prédiction de caractéristiques pour la détection d'anomalies vidéo

La détection d’anomalies dans les vidéos constitue un domaine de recherche important mais également un défi majeur dans les applications réelles. En raison de l’insuffisance de données d’anomalies annotées à grande échelle, la plupart des méthodes existantes de détection d’anomalies vidéo (VAD) se concentrent sur l’apprentissage de la distribution des échantillons normaux afin de détecter les échantillons fortement écartés comme des anomalies. Afin d’apprendre efficacement la distribution des mouvements et des apparences normaux, de nombreuses réseaux auxiliaires sont employés pour extraire des informations sur les objets foreground ou les actions. Ces caractéristiques sémantiques de haut niveau filtrent efficacement le bruit provenant du fond, réduisant ainsi son impact sur les modèles de détection. Toutefois, la performance des méthodes VAD dépend fortement de la qualité des modèles sémantiques supplémentaires. Inspirés par les capacités impressionnantes de génération et de résistance au bruit des modèles de diffusion (DM), nous proposons dans ce travail une nouvelle méthode basée sur les DM pour prédire les caractéristiques des cadres vidéo afin de détecter les anomalies. Notre objectif est d’apprendre la distribution des échantillons normaux sans recourir à des modèles supplémentaires d’extraction de caractéristiques sémantiques de haut niveau. Pour ce faire, nous avons conçu deux modules implicites de diffusion débruitante afin de prédire et d’améliorer les caractéristiques. Le premier module se concentre sur l’apprentissage des caractéristiques de mouvement, tandis que le second se focalise sur l’apprentissage des caractéristiques d’apparence. À notre connaissance, il s’agit de la première méthode basée sur les DM pour prédire les caractéristiques des cadres vidéo dans le cadre de la VAD. La puissante capacité des DM permet également à notre méthode de prédire plus précisément les caractéristiques normales que les méthodes VAD basées sur la prédiction de caractéristiques non fondées sur les DM. Des expériences étendues montrent que l’approche proposée surpasse significativement les méthodes de pointe actuelles.