ResNet 3D avec fonction de perte par classement pour la détection d'activités anormales dans les vidéos

La détection d’activités anormales constitue l’une des tâches les plus complexes dans le domaine de la vision par ordinateur. Cette étude s’inspire des travaux récents les plus avancés en détection d’activités anormales, qui exploitent à la fois des vidéos anormales et normales pour apprendre à identifier les anomalies grâce à l’apprentissage par instances multiples (Multiple Instance Learning, MIL), en fournissant aux données des informations au niveau de la vidéo. Toutefois, en l’absence d’étiquetages temporels, un tel modèle est susceptible de générer de fausses alertes lors de la détection des anomalies. C’est pourquoi, dans cet article, nous nous concentrons sur la minimisation du taux de fausses alertes tout en effectuant une détection d’activités anormales. La réduction de ces fausses alertes, combinée aux récents progrès réalisés dans les réseaux de neurones profonds 3D pour la reconnaissance d’actions vidéo, nous a motivés à exploiter le modèle 3D ResNet dans notre approche proposée, afin d’extraire efficacement des caractéristiques spatio-temporelles à partir des vidéos. Par la suite, en combinant ces caractéristiques avec un apprentissage par instances multiples profond et une nouvelle fonction de perte de classement proposée, notre modèle apprend à prédire un score d’anomalie au niveau des segments vidéo. Ainsi, la méthode proposée, nommée 3D deep Multiple Instance Learning with ResNet (MILR), associée à la nouvelle fonction de perte de classement, atteint les meilleurs résultats sur le jeu de données de référence UCF-Crime, comparée aux autres méthodes de pointe. L’efficacité de notre approche est démontrée sur le jeu de données UCF-Crime.