ICON: Implizite gekleidete Menschen aus Normalen abgeleitet

Aktuelle Methoden zur Erstellung realistischer und animierbarer 3D-geschmückter Avatare benötigen entweder posierte 3D-Scans oder 2D-Bilder mit sorgfältig kontrollierten Benutzerpose. Im Gegensatz dazu ist unser Ziel, einen Avatar ausschließlich aus 2D-Bildern von Menschen in unbeschränkten Poses zu lernen. Gegeben ein Satz von Bildern, schätzt unsere Methode eine detaillierte 3D-Oberfläche aus jedem Bild und kombiniert diese anschließend zu einem animierbaren Avatar.Implizite Funktionen sind für die erste Aufgabe gut geeignet, da sie Details wie Haare und Kleidung erfassen können. Aktuelle Methoden sind jedoch nicht robust gegenüber verschiedenen menschlichen Poses und erzeugen oft 3D-Oberflächen mit gebrochenen oder abgetrennten Gliedmaßen, fehlenden Details oder nicht-menschlichen Formen. Das Problem liegt darin, dass diese Methoden globale Merkmalsencoder verwenden, die empfindlich gegenüber der globalen Pose sind. Um dies zu beheben, schlagen wir ICON ("Implicit Clothed humans Obtained from Normals") vor, das stattdessen lokale Merkmale verwendet.ICON besteht aus zwei Hauptmodulen, die beide den SMPL(-X)-Körpermodell nutzen. Zunächst inferiert ICON detaillierte normale Vektoren (Vorder-/Rückseite) von geschmückten Menschen unter Berücksichtigung der SMPL(-X)-normalen Vektoren. Anschließend produziert ein sichtbarkeitsbewusster impliziter Oberflächenregressor eine Iso-Oberfläche eines menschlichen Besetztheitsfelds (human occupancy field). Wichtig ist dabei, dass während der Inferenz ein Feedback-Schleife zwischen dem Verfeinern des SMPL(-X)-Gitters mithilfe der inferierten normalen Vektoren von geschmückten Menschen und dem Verfeinern dieser normalen Vektoren wechselt.Gegeben mehrere rekonstruierte Frames eines Subjekts in verschiedenen Poses, verwenden wir SCANimate, um daraus einen animierbaren Avatar zu erstellen. Die Bewertung auf den Datensätzen AGORA und CAPE zeigt, dass ICON den aktuellen Stand der Technik bei der Rekonstruktion übertrifft, selbst bei stark begrenzten Trainingsdaten. Zudem ist es viel robuster gegenüber außerhalb der Verteilung liegenden Stichproben (out-of-distribution samples), z.B. natürlichen Poses/Bildern (in-the-wild poses/images) und Kürzungen außerhalb des Rahmens (out-of-frame cropping).ICON macht einen Schritt in Richtung robuster 3D-Rekonstruktion von geschmückten Menschen aus natürlichen Bildern (in-the-wild images). Dies ermöglicht die direkte Erstellung von Avataren aus Videos mit personalisierten und natürlichen poseabhängigen Kleiderverformungen.