HyperAIHyperAI

Command Palette

Search for a command to run...

Raisonnement sur la tendance spatio-temporelle pour l'estimation de la posture et de la forme du corps humain à partir de vidéos

Boyang Zhang SuPing Wu Hu Cao Kehua Ma Pan Li Lei Lin

Résumé

Dans cet article, nous présentons un réseau de raisonnement de tendance spatio-temporelle (STR) pour la récupération de la posture et de la forme du corps humain à partir de vidéos. Les approches antérieures se sont concentrées sur l’extension des jeux de données 3D humaines et l’apprentissage basé sur le temps afin d’améliorer la précision et la lissité temporelle. À la différence de ces méthodes, notre approche STR vise à apprendre des séquences de mouvement précises et naturelles dans un environnement non contraint, en exploitant les tendances spatiales et temporelles, et à tirer pleinement parti des caractéristiques spatio-temporelles présentes dans les données vidéo existantes. À cette fin, notre STR apprend de manière séparée les représentations de caractéristiques selon les dimensions temporelle et spatiale, afin de construire une représentation plus robuste des caractéristiques spatio-temporelles. Plus précisément, pour une modélisation temporelle efficace, nous proposons d’abord un module de raisonnement de tendance temporelle (TTR). Le module TTR établit une représentation hiérarchique à connexion résiduelle dans la dimension temporelle au sein d’une séquence vidéo, permettant ainsi de raisonner efficacement sur les tendances des séquences temporelles tout en préservant une diffusion efficace des informations humaines. Parallèlement, pour améliorer la représentation spatiale, nous concevons un module d’amélioration de tendance spatiale (STE), qui permet d’exciter davantage les caractéristiques sensibles dans le domaine temporel-fréquentiel au sein des représentations des mouvements humains. Enfin, nous introduisons des stratégies d’intégration pour combiner et affiner les représentations de caractéristiques spatio-temporelles. Les résultats expérimentaux étendus sur des jeux de données publics à grande échelle montrent que notre STR reste compétitif par rapport aux méthodes les plus avancées sur trois jeux de données. Le code source est disponible à l’adresse suivante : https://github.com/Changboyang/STR.git.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Raisonnement sur la tendance spatio-temporelle pour l'estimation de la posture et de la forme du corps humain à partir de vidéos | Articles | HyperAI