HyperAIHyperAI

Command Palette

Search for a command to run...

X-Avatar : Avatars Humains Expressifs

Kaiyue Shen Chen Guo Manuel Kaufmann Juan Jose Zarate Julien Valentin Jie Song Otmar Hilliges

Résumé

Nous présentons X-Avatar, un nouveau modèle d'avatar qui capture toute l'expressivité des humains numériques pour offrir des expériences quasi réelles dans le téléprésence, la réalité augmentée (AR)/réalité virtuelle (VR) et au-delà. Notre méthode modélise les corps, les mains, les expressions faciales et l'apparence de manière holistique et peut être apprise à partir de scans 3D complets ou de données RGB-D. Pour y parvenir, nous proposons un module d'enveloppement direct appris et sensible aux parties du corps, qui peut être piloté par l'espace paramétrique de SMPL-X, permettant ainsi une animation expressive des X-Avatars. Afin d'apprendre efficacement les champs de forme et de déformation neuronaux, nous introduisons de nouvelles stratégies d'échantillonnage et d'initialisation sensibles aux parties du corps. Cela conduit à des résultats plus fidèles, en particulier pour les parties corporelles plus petites, tout en maintenant une formation efficace malgré l'augmentation du nombre d'os articulés. Pour capturer l'apparence de l'avatar avec des détails à haute fréquence, nous étendons les champs de géométrie et de déformation avec un réseau texturé conditionné par la posture, l'expression faciale, la géométrie et les normales de la surface déformée. Nous montrons expérimentalement que notre méthode surpasse des baselines solides dans les deux domaines de données, tant quantitativement que qualitativement pour la tâche d'animation. Pour faciliter les recherches futures sur les avatars expressifs, nous contribuons à un nouveau jeu de données appelé X-Humans, contenant 233 séquences de scans texturés haute qualité provenant de 20 participants, totalisant 35 500 trames de données.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
X-Avatar : Avatars Humains Expressifs | Articles | HyperAI