3D-Rekonstruktion von Menschen im Alltag gekleidet

Obwohl bei der 3D-Rekonstruktion von Menschen in Kleidung große Fortschritte gemacht wurden, scheitern die meisten existierenden Methoden daran, robuste Ergebnisse aus Bildern im freien Feld (in-the-wild) zu erzeugen, die vielfältige menschliche Pose und Erscheinungen enthalten. Dies ist hauptsächlich auf den großen Domänenunterschied zwischen Trainingsdatensätzen und Datensätzen im freien Feld zurückzuführen. Die Trainingsdatensätze sind in der Regel synthetische Datensätze, die gerenderte Bilder von GT-3D-Scans enthalten. Allerdings sind solche Datensätze in Bezug auf menschliche Pose einfacher und weisen weniger natürliche Bilderscheinungen auf als reale Datensätze im freien Feld. Dies macht die Generalisierung auf Bilder im freien Feld äußerst schwierig. Um dieses Problem zu lösen, schlagen wir in dieser Arbeit ClothWild vor, einen Framework für die 3D-Rekonstruktion von Menschen in Kleidung, der erstmals die Robustheit auf Bildern im freien Feld adressiert. Erstens, um die Robustheit gegenüber dem Domänenunterschied zu erhöhen, entwickeln wir eine schwach überwachte Pipeline, die mit 2D-Überwachungszielen von Datensätzen im freien Feld trainiert werden kann. Zweitens gestalten wir eine DensePose-basierte Verlustfunktion, um Unsicherheiten der schwachen Überwachung zu reduzieren. Ausführliche empirische Tests an mehreren öffentlichen Datensätzen im freien Feld zeigen, dass unser vorgeschlagener ClothWild viel genaue und robustere Ergebnisse als die bislang besten Methoden liefert. Der Quellcode ist unter folgender URL verfügbar: https://github.com/hygenie1228/ClothWild_RELEASE.