Descripteurs de covariance spatio-temporelle pour la reconnaissance d'actions et de gestes

Nous proposons une nouvelle méthode de reconnaissance d'actions et de gestes basée sur des descripteurs spatio-temporels de covariance et une approche de projection locale préservante riemannienne pondérée qui prend en compte l'espace courbe formé par les descripteurs. La projection pondérée est ensuite exploitée lors du boosting pour créer un algorithme final de classification multiclasses utilisant les régions spatio-temporelles les plus utiles. Nous montrons également comment les descripteurs peuvent être calculés rapidement grâce à l'utilisation de représentations vidéo intégrales. Les expériences menées sur les jeux de données UCF sport, CK+ d'expressions faciales et Cambridge de gestes manuels indiquent une performance supérieure de la méthode proposée par rapport à plusieurs techniques récentes de pointe. La méthode proposée est robuste et ne nécessite pas de traitement supplémentaire des vidéos, tel que la détection du premier plan, la détection ou le suivi des points d'intérêt.