ABN : Réseaux de Frontières Conscients des Agents pour la Génération de Proposals d'Actions Temporelles
La génération de propositions d'actions temporelles (TAPG) vise à estimer les intervalles temporels des actions dans des vidéos non tronquées, ce qui constitue un défi majeur mais joue un rôle crucial dans de nombreuses tâches d'analyse et de compréhension vidéo. Malgré les avancées significatives en TAPG, la plupart des travaux existants ignorent la perception humaine des interactions entre les agents et l'environnement environnant en appliquant un modèle d'apprentissage profond comme une boîte noire aux vidéos non tronquées pour extraire la représentation visuelle vidéo. Par conséquent, il serait bénéfique et potentiellement améliorerait les performances du TAPG si nous pouvions capturer ces interactions entre les agents et l'environnement. Dans cet article, nous proposons un nouveau cadre nommé Réseau de Contour Conscient des Agents (ABN), composé de deux sous-réseaux : (i) un Réseau de Représentation Conscient des Agents pour obtenir à la fois les relations agent-agent et agents-environnement dans la représentation vidéo, et (ii) un Réseau de Génération de Contours pour estimer le score de confiance des intervalles temporels. Dans le Réseau de Représentation Conscient des Agents, les interactions entre les agents sont exprimées par le biais d'un chemin local, qui opère au niveau local pour se concentrer sur les mouvements des agents, tandis que la perception globale des alentours est exprimée par le biais d'un chemin global, qui opère au niveau global pour percevoir les effets agents-environnement. Des évaluations approfondies sur les jeux de données THUMOS-14 à 20 actions et ActivityNet-1.3 à 200 actions avec différents réseaux principaux (c'est-à-dire C3D, SlowFast et Two-Stream) montrent que notre ABN proposé surpasse robustement les méthodes de pointe actuelles en TAPG, indépendamment du réseau principal utilisé. Nous examinons davantage la qualité des propositions en utilisant celles générées par notre méthode dans des cadres de détection d'actions temporelles (TAD) et en évaluant leurs performances de détection. Le code source peut être trouvé à cette URL : https://github.com/vhvkhoa/TAPG-AgentEnvNetwork.git.