HyperAIHyperAI

Command Palette

Search for a command to run...

Estimation de la posture humaine 3D auto-supervisée par synthèse d'images novatrices guidées par les parties

Jogendra Nath Kundu Siddharth Seth Varun Jampani Mugalodi Rakesh R. Venkatesh Babu Anirban Chakraborty

Résumé

La capture de la posture humaine par caméra est le résultat de plusieurs sources de variation. Les performances des approches d'estimation supervisée de la posture 3D s'accompagnent du coût de l'élimination des variations, telles que la forme et l'apparence, qui pourraient être utiles pour résoudre d'autres tâches connexes. Par conséquent, le modèle appris non seulement inculque un biais de tâche, mais aussi un biais de jeu de données en raison de sa forte dépendance aux échantillons annotés, ce qui est également vrai pour les modèles faiblement supervisés. Reconnaissant cela, nous proposons un cadre d'apprentissage auto-supervisé pour dissocier ces variations à partir des images vidéo non étiquetées. Nous exploitons les connaissances a priori sur le squelette humain et les postures sous forme d'un modèle 2D unique basé sur les parties du corps, des contraintes d'articulation de la posture humaine et d'un ensemble de postures 3D non appariées. Notre formalisation différentiable, qui réduit l'écart représentationnel entre la posture 3D et les cartes spatiales des parties du corps, facilite non seulement la découverte d'une dissociation interprétable de la posture, mais nous permet également de traiter des vidéos avec divers mouvements caméra. Les résultats qualitatifs sur des jeux de données inédits et naturels établissent notre supériorité en termes de généralisation à travers plusieurs tâches au-delà des tâches principales d'estimation de la posture 3D et de segmentation des parties du corps. De plus, nous démontrons une performance d'estimation faiblement supervisée de la posture 3D à l'état de l'art sur les jeux de données Human3.6M et MPI-INF-3DHP.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp