Détection d'anomalies vidéo par la résolution de puzzles de type Jigsaw spatio-temporels découplés

La détection d’anomalies vidéo (VAD) est un sujet crucial en vision par ordinateur. Motivés par les récents progrès des méthodes d’apprentissage auto-supervisé, nous abordons la VAD en résolvant une tâche prétexte intuitive mais difficile : les puzzles spatio-temporels, formulée comme un problème de classification fine à plusieurs étiquettes. Notre méthode présente plusieurs avantages par rapport aux approches existantes : 1) les puzzles spatio-temporels sont décomposés selon les dimensions spatiale et temporelle, permettant respectivement d’extraire des caractéristiques discriminantes d’apparence et de mouvement ; 2) des permutations complètes sont utilisées afin de générer un grand nombre de puzzles couvrant divers niveaux de difficulté, ce qui permet au réseau de distinguer des différences subtiles entre événements normaux et anormaux ; 3) la tâche prétexte est traitée de manière end-to-end, sans recourir à aucun modèle pré-entraîné. Notre méthode dépasse les meilleures approches actuelles sur trois benchmarks publics. En particulier, sur le jeu de données ShanghaiTech Campus, les résultats surpassent largement ceux des méthodes basées sur la reconstruction ou la prédiction.