X-Avatar : Avatars Humains Expressifs

Nous présentons X-Avatar, un nouveau modèle d'avatar qui capture toute l'expressivité des humains numériques pour offrir des expériences quasi réelles dans le téléprésence, la réalité augmentée (AR)/réalité virtuelle (VR) et au-delà. Notre méthode modélise les corps, les mains, les expressions faciales et l'apparence de manière holistique et peut être apprise à partir de scans 3D complets ou de données RGB-D. Pour y parvenir, nous proposons un module d'enveloppement direct appris et sensible aux parties du corps, qui peut être piloté par l'espace paramétrique de SMPL-X, permettant ainsi une animation expressive des X-Avatars. Afin d'apprendre efficacement les champs de forme et de déformation neuronaux, nous introduisons de nouvelles stratégies d'échantillonnage et d'initialisation sensibles aux parties du corps. Cela conduit à des résultats plus fidèles, en particulier pour les parties corporelles plus petites, tout en maintenant une formation efficace malgré l'augmentation du nombre d'os articulés. Pour capturer l'apparence de l'avatar avec des détails à haute fréquence, nous étendons les champs de géométrie et de déformation avec un réseau texturé conditionné par la posture, l'expression faciale, la géométrie et les normales de la surface déformée. Nous montrons expérimentalement que notre méthode surpasse des baselines solides dans les deux domaines de données, tant quantitativement que qualitativement pour la tâche d'animation. Pour faciliter les recherches futures sur les avatars expressifs, nous contribuons à un nouveau jeu de données appelé X-Humans, contenant 233 séquences de scans texturés haute qualité provenant de 20 participants, totalisant 35 500 trames de données.