Récupération du contexte et récupération de connaissances : un nouveau cadre à deux flux pour la détection d'anomalies vidéo

La détection d’anomalies dans les vidéos vise à identifier les événements qui s’écartent du comportement attendu. Les méthodes courantes détectent principalement les anomalies à partir de l’erreur de reconstruction de segments vidéo ou de l’erreur de prédiction des trames futures. Toutefois, ces erreurs dépendent fortement du contexte local du segment courant et manquent d’une compréhension approfondie de la normalité. Pour remédier à ce problème, nous proposons de détecter les événements anormaux non seulement en se basant sur le contexte local, mais également en évaluant la cohérence entre l’événement testé et les connaissances sur la normalité extraites des données d’entraînement. Plus précisément, nous introduisons un nouveau cadre à deux flux fondé sur la récupération de contexte et la récupération de connaissances, où les deux flux s’accompagnent mutuellement. Pour le flux de récupération de contexte, nous proposons un réseau U-Net spatio-temporel capable d’exploiter pleinement les informations de mouvement pour prédire la trame future. En outre, nous introduisons un mécanisme d’erreur locale maximale afin de réduire les erreurs importantes de reconstruction causées par des objets complexes au premier plan. Pour le flux de récupération de connaissances, nous proposons une version améliorée du hachage sensible à la localité apprenable, dont les fonctions de hachage sont optimisées via un réseau Siamese et une fonction de perte par différence mutuelle. Les connaissances relatives à la normalité sont encodées et stockées dans des tables de hachage, et la distance entre l’événement testé et sa représentation connexe est utilisée pour estimer la probabilité d’anomalie. Enfin, nous fusionnons les scores d’anomalie provenant des deux flux pour détecter les anomalies. Des expériences étendues démontrent l’efficacité et la complémentarité des deux flux, et le cadre à deux flux proposé atteint des performances de pointe sur quatre jeux de données.