Réseau de relations de proposition pour la détection d’actions temporelles

Ce rapport technique présente notre solution pour la tâche de détection d’actions temporelles dans le cadre du ActivityNet Challenge 2021. L’objectif de cette tâche consiste à localiser et identifier les actions d’intérêt dans des vidéos longues non coupées. Le défi majeur provient du fait que la durée temporelle des actions varie considérablement, et que les actions cibles sont généralement intégrées dans un contexte de activités non pertinentes. Notre approche s’appuie sur BMN et comporte principalement trois étapes : 1) classification d’actions et encodage des caractéristiques à l’aide de SlowFast, CSN et ViViT ; 2) génération de propositions. Nous améliorons BMN en intégrant un réseau de relations de propositions (Proposal Relation Network, PRN), permettant ainsi de générer des propositions de haute qualité ; 3) détection d’actions. Les résultats de détection sont calculés en associant chaque proposition à son résultat de classification correspondant. Enfin, nous combinons les résultats obtenus sous différentes configurations, atteignant ainsi un score de 44,7 % sur l’ensemble de test, soit une amélioration de 1,9 % par rapport au résultat du vainqueur du ActivityNet 2020 en termes de mAP moyen.