3D Magic Mirror: Kleidungsrekonstruktion aus einem einzigen Bild unter einer kausalen Perspektive

Diese Forschung zielt darauf ab, eine selbstüberwachte Methode zur 3D-Rekonstruktion von Kleidung zu untersuchen, die aus einem einzigen Bild die Geometrieform und Textur der menschlichen Bekleidung rekonstruiert. Im Vergleich zu bestehenden Ansätzen stellen wir fest, dass drei zentrale Herausforderungen bestehen: (1) 3D-Referenzmeshes von Kleidung sind aufgrund von Schwierigkeiten bei der Annotation und hohen Zeitkosten in der Regel nicht zugänglich; (2) Herkömmliche templatesbasierte Methoden sind auf die Modellierung von deformierbaren Objekten beschränkt, wie beispielsweise Handtaschen und Kleider, die in Modebildern häufig vorkommen; (3) Die inhärente Mehrdeutigkeit beeinträchtigt das Modelltraining erheblich, etwa im Dilemma zwischen einer großen Objektform bei großer Entfernung zur Kamera und einer kleinen Form bei geringer Entfernung.Um diese Einschränkungen anzugehen, schlagen wir ein kausalitätsbewusstes selbstüberwachtes Lernverfahren vor, das adaptiv 3D-deformierbare Objekte aus 2D-Bildern rekonstruiert, ohne dass 3D-Anmerkungen erforderlich sind. Insbesondere lösen wir die inhärente Mehrdeutigkeit zwischen vier impliziten Variablen – Kameraposition, Form, Textur und Beleuchtung – durch die Einführung einer erklärbaren strukturellen kausalen Karte (SCM), die als Grundlage für unser Modell dient. Die vorgeschlagene Modellarchitektur folgt dem Prinzip der kausalen Karte und berücksichtigt explizit das Vorwissen über den Template in der Schätzung der Kamera und der Formvorhersage. Bei der Optimierung wird das kausale Interventionstool, bestehend aus zwei Erwartung-Maximierungsschleifen, tief in unseren Algorithmus integriert, um (1) die vier Encoder zu entkoppeln und (2) das Vorwissen über den Template zu fördern. Ausführliche Experimente an zwei 2D-Mode-Benchmark-Datensätzen (ATR und Market-HQ) zeigen, dass die vorgeschlagene Methode hochqualitative 3D-Rekonstruktionen ermöglicht. Zudem bestätigen wir die Skalierbarkeit des Verfahrens an einem fein granularen Vogel-Datensatz, dem CUB. Der Quellcode ist unter https://github.com/layumi/3D-Magic-Mirror verfügbar.