Réseaux de neurones convolutifs spatio-temporels segmentaux pour la segmentation d'actions fine-grained

La segmentation et la classification conjointes d'actions fines sont importantes pour les applications d'interaction homme-robot, de surveillance vidéo et d'évaluation des compétences humaines. Cependant, malgré des progrès considérables récents dans la classification d'actions à grande échelle, les performances des approches actuelles de reconnaissance d'actions fines restent faibles. Nous proposons un modèle de segmentation d'actions qui combine des caractéristiques spatio-temporelles de bas niveau avec un classificateur segmental de haut niveau. Notre réseau neuronal convolutif (CNN) spatio-temporel est composé d'une composante spatiale qui utilise des filtres convolutifs pour capturer des informations sur les objets et leurs relations, et d'une composante temporelle qui utilise de grands filtres convolutifs 1D pour capturer des informations sur l'évolution des relations entre objets au fil du temps. Ces caractéristiques sont utilisées en parallèle avec un modèle semi-markovien qui modélise les transitions d'une action à une autre. Nous introduisons un algorithme efficace d'inférence segmentale contrainte pour ce modèle, qui est des ordres de grandeur plus rapide que l'approche actuelle. Nous soulignons l'efficacité de notre CNN Spatio-Temporel Segmental sur des ensembles de données d'actions culinaires et chirurgicales, pour lesquels nous observons une amélioration substantielle des performances par rapport aux méthodes de référence récentes.