Unir les peuples : Fermer la boucle entre les représentations 3D et 2D des humains

Les modèles 3D fournissent une base commune pour différentes représentations des corps humains. Une estimation 2D robuste s'est avérée être un outil puissant pour obtenir des ajustements 3D « dans le monde réel ». Cependant, en fonction du niveau de détail, il peut être difficile, voire impossible, d'acquérir des données étiquetées à grande échelle pour former des estimateurs 2D. Nous proposons une approche hybride à ce problème : avec une version étendue de la méthode SMPLify récemment introduite, nous obtenons des ajustements de modèles corporels 3D de haute qualité pour plusieurs jeux de données sur les poses humaines. Les annotateurs humains ne classent que les bons et les mauvais ajustements. Cette procédure conduit à un jeu de données initial, UP-3D, doté d'annotations riches. À travers une série complète d'expériences, nous montrons comment ces données peuvent être utilisées pour entraîner des modèles discriminants qui produisent des résultats d'un niveau de détail sans précédent : nos modèles prédise(nt) 31 segments et 91 positions de points clés sur le corps. En utilisant l'estimateur de pose à 91 points clés, nous présentons des résultats de pointe pour l'estimation de la pose et de la forme humaine en 3D en utilisant un ordre de grandeur moins de données d'entraînement et sans hypothèses concernant le sexe ou la pose dans la procédure d'ajustement. Nous démontrons que UP-3D peut être amélioré avec ces ajustements améliorés pour augmenter sa quantité et sa qualité, ce qui rend le système déployable à grande échelle. Les données, le code et les modèles sont disponibles à des fins de recherche.