Un cadre de détection d’anomalies vidéo fondé sur la cohérence de la représentation sémantique apparence-mouvement

La détection d’anomalies dans les vidéos consiste à identifier des événements qui s’écartent du comportement attendu. En raison du manque d’échantillons anormaux lors de l’apprentissage, cette tâche s’avère particulièrement difficile. Les méthodes existantes suivent presque toutes une approche basée sur la reconstruction ou la prédiction des trames futures. Toutefois, ces approches négligent la cohérence entre les informations d’apparence et de mouvement des échantillons, ce qui limite leur performance en détection d’anomalies. En effet, les anomalies ne surviennent généralement que dans le foreground en mouvement des vidéos de surveillance. Par conséquent, les significations exprimées par les séquences d’images et les flux optiques, en l’absence d’information de fond, devraient être fortement cohérentes et pertinentes pour la détection d’anomalies. À partir de cette idée, nous proposons un cadre appelé Consistance de la Représentation Sémantique Apparence-Mouvement (AMSRC), qui exploite la cohérence entre les représentations sémantiques d’apparence et de mouvement des données normales afin de traiter la détection d’anomalies. Premièrement, nous concevons un encodeur à deux voies pour encoder les représentations d’apparence et de mouvement des échantillons normaux, tout en introduisant des contraintes pour renforcer davantage la cohérence sémantique entre ces deux types d’informations. Ainsi, les échantillons anormaux, dont les représentations d’apparence et de mouvement présentent une faible cohérence, peuvent être détectés. En outre, la faible cohérence des caractéristiques d’apparence et de mouvement des échantillons anormaux peut être exploitée pour générer des trames prédites présentant une erreur de reconstruction plus importante, rendant ainsi les anomalies plus faciles à repérer. Les résultats expérimentaux démontrent l’efficacité de la méthode proposée.