Flot de Représentation pour la Reconnaissance d'Actions

Dans cet article, nous proposons une couche de convolution inspirée par les algorithmes de flux optique pour apprendre des représentations de mouvement. Notre couche de flux de représentation est une couche entièrement différentiable conçue pour capturer le « flux » de tout canal de représentation au sein d'un réseau neuronal convolutif pour la reconnaissance d'actions. Ses paramètres pour l'optimisation itérative du flux sont appris de manière end-to-end avec les autres paramètres du modèle CNN, maximisant ainsi les performances en reconnaissance d'actions. De plus, nous introduisons pour la première fois le concept d'apprentissage des « flux de flux » (flow of flow) de représentation en empilant plusieurs couches de flux de représentation. Nous avons mené des évaluations expérimentales approfondies, confirmant ses avantages par rapport aux modèles de reconnaissance précédents utilisant des flux optiques traditionnels, tant en termes de vitesse computationnelle que de performance. Le code et les modèles sont disponibles ici : https://piergiaj.github.io/rep-flow-site/