HyperAIHyperAI

Command Palette

Search for a command to run...

LASOR : Apprentissage précis de la posture et de la forme humaines en 3D grâce à des données synthétiques conscientes de l'occlusion et au rendu neuronal de maillage

Kaibing Yang Renshu Gu Maoyu Wang Masahiro Toyoura Gang Xu

Résumé

Un défi majeur dans la tâche d'estimation de la posture et de la forme humaine est l'occlusion, y compris les auto-occultations, les occultations objet-humain et les occultations interpersonnelles. Le manque de données d'entraînement diverses et précises devient une goulotte d'étranglement importante, en particulier pour des scènes présentant des occultations naturelles. Dans cet article, nous nous concentrons sur l'estimation de la posture et de la forme humaine en cas d'occultations interpersonnelles, tout en traitant les occultations objet-humain et les auto-occultations. Nous proposons un cadre novateur qui synthétise des données de silhouettes et de points clés 2D sensibles aux occultations, et régresse directement vers les paramètres de posture et de forme du modèle SMPL (Shape and Motion Priors). Un rendu neuronal 3D est utilisé pour permettre une supervision des silhouettes en temps réel, ce qui contribue à d'importantes améliorations dans l'estimation de la forme. De plus, des données d'entraînement dirigées par les points clés et les silhouettes sont synthétisées dans des vues panoramiques pour compenser le manque de diversité des points de vue dans tous les jeux de données existants. Les résultats expérimentaux montrent que nous sommes parmi les meilleurs sur les jeux de données 3DPW et 3DPW-Crowd en termes de précision d'estimation de la posture. La méthode proposée surpasse nettement le Mesh Transformer, le 3DCrowdNet et le ROMP en termes d'estimation de la forme. Des performances optimales sont également obtenues sur SSP-3D en termes de précision de prédiction de la forme. Une démonstration et le code seront disponibles à l'adresse suivante : https://igame-lab.github.io/LASOR/.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
LASOR : Apprentissage précis de la posture et de la forme humaines en 3D grâce à des données synthétiques conscientes de l'occlusion et au rendu neuronal de maillage | Articles | HyperAI