HyperAIHyperAI

Command Palette

Search for a command to run...

Vid2Avatar : Reconstruction d'avatar 3D à partir de vidéos dans des conditions réelles grâce à la décomposition de scène auto-supervisée

Chen Guo Tianjian Jiang Xu Chen Jie Song Otmar Hilliges

Résumé

Nous présentons Vid2Avatar, une méthode permettant d'apprendre des avatars humains à partir de vidéos monoscopiques prises dans des conditions naturelles. La reconstruction d'humains qui se déplacent naturellement à partir de vidéos monoscopiques prises dans des conditions naturelles est un défi complexe. Pour y parvenir, il est nécessaire de séparer avec précision les humains des arrière-plans arbitraires. De plus, cela nécessite la reconstruction d'une surface 3D détaillée à partir de séquences vidéo courtes, ce qui rend la tâche encore plus ardue. Malgré ces défis, notre méthode ne nécessite aucune supervision par des données vérité-terrain ni l'extraction de priorités à partir de grands ensembles de données de scans humains vêtus ; nous ne faisons pas non plus appel à des modules externes de segmentation. Au lieu de cela, elle résout directement les tâches de décomposition de la scène et de reconstruction de la surface en 3D en modélisant conjointement l'humain et l'arrière-plan dans la scène, paramétrés par deux champs neuronaux distincts. Plus précisément, nous définissons une représentation temporellement cohérente de l'humain dans l'espace canonique et formulons une optimisation globale sur le modèle d'arrière-plan, la forme et la texture humaines canoniques, ainsi que les paramètres de pose humaine par image. Une stratégie d'échantillonnage grossière puis fine pour le rendu volumique et des objectifs novateurs sont introduits pour une séparation claire entre l'humain dynamique et l'arrière-plan statique, aboutissant à des reconstructions géométriques 3D détaillées et robustes. Nous évaluons nos méthodes sur des jeux de données publiquement disponibles et montrons des améliorations par rapport aux travaux antérieurs.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp