Modélisation probabiliste pour la récupération de maillages humains

Ce travail se concentre sur le problème de la reconstruction 3D d'un être humain à partir de preuves 2D. Bien que ce soit un problème intrinsèquement ambigu, la majorité des travaux récents évitent la modélisation de l'incertitude et produisent généralement une seule estimation pour une entrée donnée. En opposition avec cette approche, nous proposons dans ce travail d'embrasser l'ambiguïté de la reconstruction et de reformuler le problème comme l'apprentissage d'une correspondance entre l'entrée et une distribution de poses 3D plausibles. Notre méthode est basée sur le modèle de flux normalisants (normalizing flows) et offre une série d'avantages. Pour les applications conventionnelles nécessitant une seule estimation 3D, notre formulation permet un calcul efficace du mode. L'utilisation du mode conduit à des performances comparables à celles des modèles déterministes unimodaux les plus avancés. Parallèlement, puisque nous avons accès à la vraisemblance de chaque échantillon, nous montrons que notre modèle est utile dans plusieurs tâches en aval, où nous exploitons la nature probabiliste de la prédiction pour obtenir des estimations plus précises. Ces tâches incluent la reconstruction à partir de vues multiples non calibrées, ainsi que l'ajustement du modèle humain, où notre modèle sert de puissant a priori basé sur l'image pour la récupération du maillage. Nos résultats valident l'importance de la modélisation probabiliste et indiquent des performances au niveau de l'état de l'art dans diverses configurations. Le code source et les modèles sont disponibles à : https://www.seas.upenn.edu/~nkolot/projects/prohmr.