Réseaux récurrents temporels pour la détection d'actions en ligne

La plupart des travaux sur la détection d'actions temporelles sont formulés comme un problème hors ligne, dans lequel les temps de début et de fin des actions sont déterminés après que l'intégralité de la vidéo a été entièrement observée. Cependant, des applications en temps réel importantes, telles que les systèmes de surveillance et d'assistance au conducteur, nécessitent l'identification des actions dès que chaque image de la vidéo arrive, en se basant uniquement sur les observations actuelles et passées. Dans cet article, nous proposons un cadre novateur, le Réseau Récurent Temporel (TRN), pour modéliser un contexte temporel plus étendu d'une image de vidéo en effectuant simultanément la détection d'actions en ligne et l'anticipation du futur immédiat. À chaque instant, notre approche utilise à la fois les preuves historiques accumulées et les informations futures prédites pour mieux reconnaître l'action qui se produit actuellement, et intègre ces deux éléments dans une architecture unifiée bout-à-bout. Nous évaluons notre approche sur deux jeux de données populaires pour la détection d'actions en ligne, HDD et TVSeries, ainsi que sur un autre jeu de données largement utilisé, THUMOS'14. Les résultats montrent que le TRN dépasse significativement l'état de l'art.