GenHMR : Génération de Maillages Humains
La récupération de maillage humain (HMR) est cruciale dans de nombreuses applications de vision par ordinateur, allant de la santé aux arts et au divertissement. L'HMR à partir d'images monoculaires a principalement été abordée par des méthodes déterministes qui produisent une seule prédiction pour une image 2D donnée. Cependant, l'HMR à partir d'une seule image est un problème mal posé en raison de l'ambiguïté de profondeur et des occultations. Les méthodes probabilistes ont tenté de résoudre ce problème en générant et en fusionnant plusieurs reconstructions 3D plausibles, mais leurs performances ont souvent été inférieures à celles des approches déterministes. Dans cet article, nous présentons GenHMR, un nouveau cadre génératif qui reformule l'HMR monoculaire comme une tâche générative conditionnée par l'image, modélisant explicitement et atténuant les incertitudes du processus de mappage 2D vers 3D. GenHMR comprend deux composants clés : (1) un tokeniseur de posture pour convertir les postures humaines 3D en une séquence de tokens discrets dans un espace latent, et (2) un transformateur masqué conditionné par l'image pour apprendre les distributions probabilistes des tokens de posture, conditionnées à la fois sur l'image d'entrée et sur une séquence de tokens masqués aléatoirement. Pendant l'inférence, le modèle échantillonne à partir de la distribution conditionnelle apprise pour décoder itérativement des tokens de posture à haute confiance, réduisant ainsi les incertitudes de la reconstruction 3D. Pour affiner davantage la reconstruction, une technique de raffinement guidée par la posture 2D est proposée afin d'affiner directement les tokens de posture décodés dans l'espace latent, ce qui force le maillage corporel projeté en 3D à s'aligner avec les indices de posture 2D. Des expériences menées sur des jeux de données基准数据集表明，GenHMR显著优于现有最先进方法。项目网站可访问 https://m-usamasaleem.github.io/publication/GenHMR/GenHMR.html(Note: The last sentence contains Chinese characters which I have translated below for consistency.)Des expériences menées sur des jeux de données benchmark montrent que GenHMR surpasse significativement les méthodes les plus avancées actuellement disponibles. Le site web du projet est accessible à l'adresse suivante : https://m-usamasaleem.github.io/publication/GenHMR/GenHMR.html