PIFu: Pixel-aliginierte implizite Funktion für die hochaufgelöste Digitalisierung von Menschen mit Kleidung

Wir stellen die Pixel-alingierte Implizite Funktion (PIFu) vor, eine hoch effektive implizite Darstellung, die lokale Pixel von 2D-Bildern mit dem globalen Kontext ihres entsprechenden 3D-Objekts ausrichtet. Mit Hilfe von PIFu schlagen wir ein end-to-end tiefes Lernverfahren vor, das hochdetaillierte gekleidete Menschen digitalisieren kann und sowohl die 3D-Oberfläche als auch die Textur aus einem einzelnen Bild ableitet; optional können mehrere Eingangsbilder verwendet werden. Hochkomplexe Formen wie Frisuren, Kleidung sowie deren Variationen und Verformungen können auf einheitliche Weise digitalisiert werden. Im Vergleich zu den bisherigen Darstellungen, die für 3D-Tiefenlernen verwendet wurden, kann PIFu hohe Auflösungen erzeugen, einschließlich weitgehend unbekannter Bereiche wie der Rückseite einer Person. Insbesondere ist es speichereffizient im Gegensatz zur Voxel-Darstellung, kann beliebige Topologien verarbeiten und die resultierende Oberfläche ist räumlich mit dem Eingangsbild ausgerichtet. Des Weiteren erweitert sich PIFu auf natürliche Weise auf eine beliebige Anzahl von Ansichten, während frühere Techniken entweder für ein einzelnes Bild oder mehrere Ansichten ausgelegt waren. Wir zeigen hochaufgelöste und robuste Rekonstruktionen anhand realer Bilder aus dem DeepFashion-Datensatz, der eine Vielzahl herausfordernder Kleiderstile enthält. Unsere Methode erreicht den Stand der Technik bei einer öffentlichen Benchmark und übertrifft die bisherige Arbeit zur Digitalisierung gekleideter Menschen aus einem einzelnen Bild.