CTRN : Réseau relationnel classe-temporel pour la détection d'actions

La détection d’actions constitue une tâche essentielle et complexe, en particulier pour les jeux de données à étiquetage dense de vidéos non tronquées. Ces jeux de données présentent de nombreux défis du monde réel, tels que les actions composées, les actions co-occurentes et les fortes variations temporelles de la durée des instances. Pour relever ces défis, nous proposons d’explorer à la fois les relations de classe et les relations temporelles des actions détectées. Dans ce travail, nous introduisons un réseau end-to-end : le Réseau Relationnel Classe-Temporel (CTRN). Il comporte trois composants clés : (1) Le module de transformation de représentation extrait les caractéristiques spécifiques à la classe à partir de représentations mixtes afin de construire des données structurées en graphe. (2) Le module Classe-Temps modélise les relations de classe et temporelles de manière séquentielle. (3) Le classificateur G exploite les connaissances privilégiées des paires d’actions co-occurentes au niveau des snippets pour améliorer davantage la détection des actions co-occurentes. Nous évaluons CTRN sur trois jeux de données exigeants à étiquetage dense et obtenons des performances de pointe, ce qui témoigne de l’efficacité et de la robustesse de notre méthode.