Command Palette
Search for a command to run...
Unir les personnes : Fermer la boucle entre les représentations humaines 3D et 2D
Unir les personnes : Fermer la boucle entre les représentations humaines 3D et 2D
Résumé
Les modèles 3D offrent un cadre commun pour différentes représentations du corps humain. À leur tour, les estimations 2D robustes se sont révélées être un outil puissant pour obtenir des ajustements 3D « dans le monde réel ». Toutefois, selon le niveau de détail requis, il peut être difficile, voire impossible, d’obtenir des données étiquetées à grande échelle afin d’entraîner des estimateurs 2D. Nous proposons une approche hybride à ce problème : en utilisant une version étendue de la méthode récemment introduite SMPLify, nous obtenons des ajustements de modèles corporels 3D de haute qualité sur plusieurs jeux de données de poses humaines. Des annotateurs humains ne doivent alors que classer les ajustements comme « bons » ou « mauvais ». Cette procédure donne lieu à un jeu de données initial, UP-3D, richement annoté. À l’aide d’une série complète d’expériences, nous montrons comment ces données peuvent être utilisées pour entraîner des modèles discriminatifs capables de produire des résultats d’un niveau de détail sans précédent : nos modèles prédise 31 segments et 91 positions de points caractéristiques sur le corps. En utilisant l’estimateur de pose basé sur les 91 points caractéristiques, nous obtenons des résultats de pointe pour l’estimation de la posture et de la forme humaines 3D, avec un ordre de grandeur moins de données d’entraînement, et sans aucune hypothèse sur le genre ou la posture lors du processus d’ajustement. Nous démontrons que UP-3D peut être enrichi grâce à ces ajustements améliorés, ce qui permet d’accroître à la fois sa quantité et sa qualité, rendant ainsi le système exploitable à grande échelle. Les données, le code et les modèles sont mis à disposition à des fins de recherche.