ARCH: Animierbare Rekonstruktion von bekleideten Menschen

In dieser Arbeit schlagen wir ARCH (Animatable Reconstruction of Clothed Humans) vor, einen neuen end-to-end-Framework zur genauen Rekonstruktion von animierten 3D-geschmückten Menschen aus einem monoischen Bild. Bestehende Ansätze zur Digitalisierung von 3D-Menschen haben Schwierigkeiten, Posevariationen zu verarbeiten und Details wiederherzustellen. Zudem erzeugen sie keine Modelle, die für Animation bereit sind. Im Gegensatz dazu ist ARCH ein gelerntes, posebewusstes Modell, das detaillierte 3D-gesteuerte Vollkörper-Avatare aus einem einzelnen unbeschränkten RGB-Bild erstellt. Ein Semantischer Raum und ein Semantisches Deformationsfeld werden mit Hilfe eines parametrischen 3D-Körper-Schätzers erstellt. Diese ermöglichen die Transformation von 2D/3D-geschmückten Menschen in einen kanonischen Raum, was Unsicherheiten in der Geometrie aufgrund von Posevariationen und Verdeckungen in den Trainingsdaten reduziert. Detaillierte Oberflächengeometrie und -optik werden mithilfe einer impliziten Funktionendarstellung mit räumlich lokalen Merkmalen gelernt. Darüber hinaus schlagen wir eine zusätzliche Pixel-basierte Überwachung bei der 3D-Rekonstruktion durch opazitätsbewusstes differenzierbares Rendering vor. Unsere Experimente zeigen, dass ARCH die Genauigkeit der rekonstruierten Menschen erhöht. Wir erreichen für Standardmetriken im Vergleich zu den neuesten Methoden auf öffentlichen Datensätzen mehr als 50 % niedrigere Rekonstruktionsfehler. Wir präsentieren zudem zahlreiche qualitative Beispiele hochwertiger, animierter Avatare, die bisher in der Literatur nicht zu finden sind.