Réseau de Relations Acteur-Contexte-Acteur pour la Localisation Spatio-Temporelle des Actions

La localisation de personnes et la reconnaissance de leurs actions à partir de vidéos constituent une tâche complexe en vue d'une compréhension avancée des vidéos. Des progrès récents ont été réalisés grâce à la modélisation de relations directes entre les entités. Dans cet article, nous allons plus loin en modélisant non seulement les relations directes entre les paires, mais aussi en prenant en compte les relations indirectes d'ordre supérieur établies sur plusieurs éléments. Nous proposons de modéliser explicitement la relation Acteur-Contexte-Acteur, qui est la relation entre deux acteurs basée sur leurs interactions avec le contexte. À cette fin, nous concevons un réseau de relations Acteur-Contexte-Acteur (ACAR-Net) reposant sur un opérateur novateur de raisonnement sur les relations d'ordre supérieur et une banque de caractéristiques Acteur-Contexte pour permettre le raisonnement sur les relations indirectes dans la localisation spatio-temporelle des actions. Les expériences menées sur les jeux de données AVA et UCF101-24 montrent les avantages de la modélisation des relations acteur-contexte-acteur, et la visualisation des cartes d'attention confirme davantage que notre modèle est capable de trouver des relations pertinentes d'ordre supérieur pour soutenir la détection des actions. Notamment, notre méthode se classe première dans la tâche de localisation d'actions AVA-Kinetics du défi ActivityNet 2020, surpassant les autres participations avec une marge significative (+6,71 mAP). Le code d'entraînement et les modèles seront disponibles à l'adresse suivante : https://github.com/Siyu-C/ACAR-Net.