X-Avatar: Ausdrucksstarke menschliche Avatare

Wir präsentieren X-Avatar, ein neues Avatarmodell, das die gesamte Ausdrucksfähigkeit digitaler Menschen erfasst, um lebensnahe Erfahrungen in der Telepräsenz, AR/VR und darüber hinaus zu ermöglichen. Unsere Methode modelliert Körper, Hände, Gesichtsausdrücke und Erscheinungsbild in einem ganzheitlichen Ansatz und kann sowohl aus vollständigen 3D-Scans als auch aus RGB-D-Daten gelernt werden. Um dies zu erreichen, schlagen wir ein teilaufgelöstes gelerntes Forward-Skinning-Modul vor, das durch den Parameterraum von SMPL-X gesteuert werden kann und es ermöglicht, X-Avatare ausdrucksstark zu animieren. Für eine effiziente Lernung der neuronalen Form- und Deformationsfelder schlagen wir neuartige teilaufgelöste Abtast- und Initialisierungsstrategien vor. Dies führt zu Ergebnissen mit höherer Genauigkeit, insbesondere bei kleineren Körperteilen, während gleichzeitig eine effiziente Schulung trotz der erhöhten Anzahl an beweglichen Knochen gewährleistet wird. Um das Erscheinungsbild des Avatars mit hochfrequenten Details einzufangen, erweitern wir die Geometrie- und Deformationsfelder um ein Textur-Netzwerk, das auf Pose, Gesichtsausdruck, Geometrie und den Normalen des deformierten Oberflächen konditioniert ist. Experimentell zeigen wir, dass unsere Methode sowohl quantitativ als auch qualitativ in beiden Datendomains die starken Baselineverfahren bei der Animierung übertrifft. Um zukünftige Forschungen zu ausdrucksstarken Avataren zu fördern, stellen wir einen neuen Datensatz namens X-Humans zur Verfügung. Dieser enthält 233 Sequenzen hochwertiger texturierter Scans von 20 Teilnehmern mit insgesamt 35.500 Datenframes.