Localisation des anomalies à partir de vidéos à étiquetage faible

La détection d’anomalies dans les vidéos sous étiquettes au niveau de la vidéo constitue actuellement une tâche difficile. Les travaux antérieurs ont progressé dans la discrimination entre des séquences vidéo anormales et normales. Toutefois, la plupart d’entre eux échouent à localiser précisément les événements anormaux dans le domaine temporel. Dans cet article, nous proposons une méthode de localisation d’anomalies faiblement supervisée (WSAL) visant à localiser temporellement les segments anormaux au sein des vidéos anormales. Inspirés par les différences d’apparence observées dans les vidéos anormales, nous évaluons l’évolution des segments temporels adjacents afin de localiser les segments anormaux. Pour ce faire, nous introduisons un modèle d’encodage de contexte d’ordre supérieur, capable non seulement d’extraire des représentations sémantiques, mais aussi de mesurer les variations dynamiques, permettant ainsi une utilisation efficace du contexte temporel. Par ailleurs, afin d’exploiter pleinement les informations de contexte spatial, les significations immédiates sont directement extraites des représentations des segments. Les variations dynamiques ainsi que les significations immédiates sont efficacement agrégées pour obtenir les scores d’anomalie finaux. Une stratégie d’amélioration est également proposée pour faire face aux interférences de bruit et à l’absence de guidance pour la localisation dans la détection d’anomalies. En outre, afin de répondre aux exigences de diversité des benchmarks de détection d’anomalies, nous avons également collecté un nouveau jeu de données de anomalies de circulation (TAD), spécifiquement centré sur les conditions de circulation, s’écartant ainsi fortement des benchmarks courants utilisés pour l’évaluation de la détection d’anomalies. Des expériences étendues ont été menées pour valider l’efficacité de chaque composant, et la méthode proposée atteint de nouveaux résultats d’état de l’art sur les jeux de données UCF-Crime et TAD.