Command Palette
Search for a command to run...
LASOR : Apprentissage précis de la posture et de la forme humaines en 3D grâce à des données synthétiques conscientes de l'occlusion et au rendu neuronal de maillage
LASOR : Apprentissage précis de la posture et de la forme humaines en 3D grâce à des données synthétiques conscientes de l'occlusion et au rendu neuronal de maillage
Kaibing Yang Renshu Gu Maoyu Wang Masahiro Toyoura Gang Xu
Résumé
Un défi majeur dans la tâche d'estimation de la posture et de la forme humaine est l'occlusion, y compris les auto-occultations, les occultations objet-humain et les occultations interpersonnelles. Le manque de données d'entraînement diverses et précises devient une goulotte d'étranglement importante, en particulier pour des scènes présentant des occultations naturelles. Dans cet article, nous nous concentrons sur l'estimation de la posture et de la forme humaine en cas d'occultations interpersonnelles, tout en traitant les occultations objet-humain et les auto-occultations. Nous proposons un cadre novateur qui synthétise des données de silhouettes et de points clés 2D sensibles aux occultations, et régresse directement vers les paramètres de posture et de forme du modèle SMPL (Shape and Motion Priors). Un rendu neuronal 3D est utilisé pour permettre une supervision des silhouettes en temps réel, ce qui contribue à d'importantes améliorations dans l'estimation de la forme. De plus, des données d'entraînement dirigées par les points clés et les silhouettes sont synthétisées dans des vues panoramiques pour compenser le manque de diversité des points de vue dans tous les jeux de données existants. Les résultats expérimentaux montrent que nous sommes parmi les meilleurs sur les jeux de données 3DPW et 3DPW-Crowd en termes de précision d'estimation de la posture. La méthode proposée surpasse nettement le Mesh Transformer, le 3DCrowdNet et le ROMP en termes d'estimation de la forme. Des performances optimales sont également obtenues sur SSP-3D en termes de précision de prédiction de la forme. Une démonstration et le code seront disponibles à l'adresse suivante : https://igame-lab.github.io/LASOR/.