Raisonnement sur la tendance spatio-temporelle pour l'estimation de la posture et de la forme du corps humain à partir de vidéos

Dans cet article, nous présentons un réseau de raisonnement de tendance spatio-temporelle (STR) pour la récupération de la posture et de la forme du corps humain à partir de vidéos. Les approches antérieures se sont concentrées sur l’extension des jeux de données 3D humaines et l’apprentissage basé sur le temps afin d’améliorer la précision et la lissité temporelle. À la différence de ces méthodes, notre approche STR vise à apprendre des séquences de mouvement précises et naturelles dans un environnement non contraint, en exploitant les tendances spatiales et temporelles, et à tirer pleinement parti des caractéristiques spatio-temporelles présentes dans les données vidéo existantes. À cette fin, notre STR apprend de manière séparée les représentations de caractéristiques selon les dimensions temporelle et spatiale, afin de construire une représentation plus robuste des caractéristiques spatio-temporelles. Plus précisément, pour une modélisation temporelle efficace, nous proposons d’abord un module de raisonnement de tendance temporelle (TTR). Le module TTR établit une représentation hiérarchique à connexion résiduelle dans la dimension temporelle au sein d’une séquence vidéo, permettant ainsi de raisonner efficacement sur les tendances des séquences temporelles tout en préservant une diffusion efficace des informations humaines. Parallèlement, pour améliorer la représentation spatiale, nous concevons un module d’amélioration de tendance spatiale (STE), qui permet d’exciter davantage les caractéristiques sensibles dans le domaine temporel-fréquentiel au sein des représentations des mouvements humains. Enfin, nous introduisons des stratégies d’intégration pour combiner et affiner les représentations de caractéristiques spatio-temporelles. Les résultats expérimentaux étendus sur des jeux de données publics à grande échelle montrent que notre STR reste compétitif par rapport aux méthodes les plus avancées sur trois jeux de données. Le code source est disponible à l’adresse suivante : https://github.com/Changboyang/STR.git.