SCANimate : Apprentissage supervisé faible de réseaux d'avatar vêtus avec peau

Nous présentons SCANimate, un cadre entièrement entraînable qui prend des scans 3D bruts d’un humain vêtu et les transforme en un avatar animable. Ces avatars sont pilotés par des paramètres de posture et présentent des vêtements réalistes qui bougent et se déforment naturellement. SCANimate ne repose pas sur un maillage personnalisé ou sur une registration de maillage de surface. Nous observons qu’ajuster un modèle corporel paramétrique, comme SMPL, à un scan d’humain vêtu est réalisable, tandis que la registration de la topologie du corps au scan est souvent problématique, car les vêtements peuvent s’éloigner considérablement de la forme du corps. Nous constatons également que les transformations articulées sont inversibles, ce qui garantit une cohérence géométrique cyclique entre les formes posées et non posées. Ces observations conduisent à une méthode d’apprentissage faiblement supervisée qui aligne les scans dans une posture canonique en séparant les déformations articulées sans recourir à une registration basée sur un modèle de référence. En outre, pour combler les régions manquantes dans les scans alignés tout en modélisant les déformations dépendantes de la posture, nous introduisons une fonction implicite localement sensible à la posture, qui apprend à compléter et modéliser la géométrie à l’aide de corrections de posture apprises. Contrairement aux embeddings de posture globaux couramment utilisés, notre conditionnement local à la posture réduit significativement les corrélations erronées à longue portée et améliore la généralisation aux postures inconnues, particulièrement lorsque les données d’entraînement sont limitées. Notre méthode peut être appliquée à la modélisation d’apparence sensible à la posture afin de générer un avatar entièrement texturé. Nous démontrons notre approche sur divers types de vêtements et avec différentes quantités de données d’entraînement, surpassant systématiquement les solutions existantes et d’autres variantes en termes de fidélité et de généralité dans chaque configuration. Le code est disponible à l’adresse https://scanimate.is.tue.mpg.de.