HyperAIHyperAI

Command Palette

Search for a command to run...

Skeleton-Graph : Prédiction à long terme de mouvements 3D à partir d'observations 2D en utilisant des CNNs spatio-temporelles profondes sur graphes

Abduallah Mohamed Huancheng Chen Zhangyang Wang Christian Claudel

Résumé

Plusieurs applications, telles que la conduite autonome, la réalité augmentée et la réalité virtuelle, nécessitent une prédiction précise de la posture 3D de l’humain. Récemment, un nouveau problème a été introduit dans ce domaine : la prédiction des postures 3D à partir de poses 2D observées. Nous proposons Skeleton-Graph, un modèle profond de réseaux de neurones convolutifs sur graphes spatio-temporels, capable de prédire les postures futures 3D du squelette en une seule passe à partir de poses 2D. Contrairement aux travaux antérieurs, Skeleton-Graph se concentre sur la modélisation des interactions entre les articulations du squelette en exploitant leur configuration spatiale. Cela est réalisé en reformulant le problème sous forme de structure de graphe tout en apprenant un noyau d’adjacence de graphe adapté. Grâce à cette architecture, Skeleton-Graph prédit les postures 3D futures sans divergence à long terme, contrairement aux approches antérieures. Nous introduisons également une nouvelle métrique pour mesurer la divergence des prédictions à long terme. Nos résultats montrent une amélioration de l’FDE d’au moins 27 % et une réduction de l’ADE de 4 % sur les deux jeux de données GTA-IM et PROX, par rapport aux méthodes antérieures. De plus, nous observons une réduction de 88 % et 93 % de divergence dans la prédiction du mouvement à long terme, respectivement sur les jeux de données GTA-IM et PROX, par rapport aux travaux antérieurs. Le code est disponible à l’adresse suivante : https://github.com/abduallahmohamed/Skeleton-Graph.git


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp