Human-VDM : Apprentissage du splatting gaussien 3D d'un seul image humaine à partir de vidéos Diffusion Models

La génération de personnages humains 3D réalistes à partir d'une seule image RGB reste une tâche complexe en vision par ordinateur, car elle nécessite une modélisation précise de la géométrie, une texture de haute qualité et des parties non visibles plausibles. Les méthodes existantes utilisent généralement des modèles de diffusion multivues pour la génération 3D, mais elles sont souvent confrontées à des problèmes d'incohérence des vues, ce qui entrave la création de personnages humains 3D de haute qualité. Pour remédier à cela, nous proposons Human-VDM, une nouvelle méthode permettant de générer un personnage humain 3D à partir d'une seule image RGB en utilisant des Modèles de Diffusion Vidéo (Video Diffusion Models). Human-VDM fournit des vues temporellement cohérentes pour la génération 3D humaine grâce au Gaussian Splatting. Il se compose de trois modules : un module de diffusion vidéo humaine cohérente en vue, un module d'augmentation vidéo et un module Gaussian Splatting. Tout d'abord, une seule image est introduite dans le module de diffusion vidéo humaine pour générer une vidéo cohérente. Ensuite, le module d'augmentation vidéo applique du suréchantillonnage et de l'interpolation vidéo afin d'améliorer les textures et la fluidité géométrique de la vidéo générée. Enfin, le module Gaussian Splatting 3D humain apprend à créer des personnages humains réalistes sous la direction de ces images haute résolution et cohérentes en vue. Les expériences montrent que Human-VDM atteint une qualité élevée dans la génération 3D humaine à partir d'une seule image, surpassant les méthodes les plus avancées actuellement disponibles tant en termes de qualité que de quantité. Page du projet : https://human-vdm.github.io/Human-VDM/