Trois Recettes pour de Meilleures Pseudo-GTs 3D de l'Estimation de Maillages Humains 3D dans le Monde Réel

La récupération de maillages humains 3D dans des conditions réelles (in-the-wild, ITW) est un défi majeur, car les ensembles de données ITW ne fournissent que des vérités terrain (ground truths, GTs) en 2D. Récemment, les 3D pseudo-vérités terrain (pseudo-GTs) ont été largement utilisées pour entraîner des réseaux d'estimation de maillage humain 3D, car ces 3D pseudo-vérités terrain permettent une supervision en 3D lors de l'entraînement sur des ensembles de données ITW. Cependant, malgré le grand potentiel des 3D pseudo-vérités terrain, aucune analyse approfondie n'a encore été réalisée pour étudier quels facteurs sont importants pour obtenir des 3D pseudo-vérités terrain plus avantageuses. Dans cet article, nous proposons trois méthodes pour obtenir des 3D pseudo-vérités terrain hautement bénéfiques à partir d'ensembles de données ITW. Le principal défi est que seule une supervision faible basée sur la 2D est autorisée lors de l'obtention des 3D pseudo-vérités terrain. Chacune de nos trois méthodes aborde ce défi sous un angle différent : ambiguïté de profondeur, suboptimalité de la supervision faible et articulations invraisemblables. Les résultats expérimentaux montrent que le simple ré-entraînement des réseaux d'avant-garde avec nos nouvelles 3D pseudo-vérités terrain améliore leur performance au niveau supérieur sans recours à des techniques supplémentaires complexes. Les 3D pseudo-vérités terrain sont disponibles publiquement sur https://github.com/mks0601/NeuralAnnot_RELEASE.