HyperAIHyperAI

Command Palette

Search for a command to run...

Human-VDM : Apprentissage du splatting gaussien 3D d'un seul image humaine à partir de vidéos Diffusion Models

Zhibin Liu Haoye Dong Aviral Chharia Hefeng Wu

Résumé

La génération de personnages humains 3D réalistes à partir d'une seule image RGB reste une tâche complexe en vision par ordinateur, car elle nécessite une modélisation précise de la géométrie, une texture de haute qualité et des parties non visibles plausibles. Les méthodes existantes utilisent généralement des modèles de diffusion multivues pour la génération 3D, mais elles sont souvent confrontées à des problèmes d'incohérence des vues, ce qui entrave la création de personnages humains 3D de haute qualité. Pour remédier à cela, nous proposons Human-VDM, une nouvelle méthode permettant de générer un personnage humain 3D à partir d'une seule image RGB en utilisant des Modèles de Diffusion Vidéo (Video Diffusion Models). Human-VDM fournit des vues temporellement cohérentes pour la génération 3D humaine grâce au Gaussian Splatting. Il se compose de trois modules : un module de diffusion vidéo humaine cohérente en vue, un module d'augmentation vidéo et un module Gaussian Splatting. Tout d'abord, une seule image est introduite dans le module de diffusion vidéo humaine pour générer une vidéo cohérente. Ensuite, le module d'augmentation vidéo applique du suréchantillonnage et de l'interpolation vidéo afin d'améliorer les textures et la fluidité géométrique de la vidéo générée. Enfin, le module Gaussian Splatting 3D humain apprend à créer des personnages humains réalistes sous la direction de ces images haute résolution et cohérentes en vue. Les expériences montrent que Human-VDM atteint une qualité élevée dans la génération 3D humaine à partir d'une seule image, surpassant les méthodes les plus avancées actuellement disponibles tant en termes de qualité que de quantité. Page du projet : https://human-vdm.github.io/Human-VDM/


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp