Recherche de tubes d’actions avec un cadre épars à dense

La tâche de détection d’actions spatio-temporelles a suscité un intérêt croissant de la part des chercheurs. Les méthodes dominantes actuelles résolvent ce problème en s’appuyant sur des informations à court terme et en effectuant une détection dense et séquentielle sur chaque trame ou clip individuel. Malgré leur efficacité, ces approches utilisent de manière insuffisante les informations à long terme et sont sujettes à une inefficacité notable. Dans cet article, nous proposons pour la première fois un cadre efficace qui génère des propositions de tubes d’actions à partir de flux vidéo en une seule passe avant, selon une approche creuse-à-dense. Ce cadre présente deux caractéristiques clés : (1) les informations échantillonnées à la fois à court et à long terme sont explicitement exploitées dans notre réseau spatio-temporel, (2) un nouveau module d’échantillonnage dynamique des caractéristiques (DTS) est conçu pour approximer efficacement la sortie du tube tout en maintenant la faisabilité du système. Nous évaluons l’efficacité de notre modèle sur les jeux de données de référence UCF101-24, JHMDB-21 et UCFSports, obtenant des résultats prometteurs, compétitifs par rapport aux méthodes de pointe. La stratégie creuse-à-dense proposée rend notre cadre environ 7,6 fois plus efficace que le concurrent le plus proche.