PyMAF-X: Auf dem Weg zu gut ausgerichteter Regression von Vollkörpermodellen aus monokularen Bildern

Wir präsentieren PyMAF-X, einen regressionsbasierten Ansatz zur Rekonstruktion parametrischer Volumenmodelle aus monokularen Bildern. Diese Aufgabe ist sehr herausfordernd, da kleinste parametrische Abweichungen zu auffälligen Fehlalignierungen zwischen dem geschätzten Netz und dem Eingangsbild führen können. Darüber hinaus neigen bestehende Lösungen bei der Integration von teilsspezifischen Schätzungen in das Volumenmodell dazu, entweder die Ausrichtung zu verschlechtern oder unnatürliche Handgelenkpositionen zu erzeugen. Um diese Probleme zu lösen, schlagen wir eine pyramidenförmige Netz-Ausrichtungs-Feedbackschleife (Pyramidal Mesh Alignment Feedback Loop, PyMAF) in unserem Regressionsnetzwerk vor, um gut alignierte menschliche Netze zu rekonstruieren, und erweitern sie als PyMAF-X für die Rekonstruktion expressiver Volumenmodelle. Das Kernprinzip von PyMAF besteht darin, eine Merkmalspyramide zu nutzen und die vorhergesagten Parameter explizit auf Basis des Netz-Bild-Ausrichtungsstatus zu korrigieren. Insbesondere werden aus den feiner aufgelösten Merkmalen entsprechend maschenalignierte Beweise extrahiert und für die Parameterkorrektur zurückgegeben. Um das Ausrichtungswahrnehmungsvermögen zu verbessern, wird eine zusätzliche dichte Überwachung eingesetzt, um eine Korrespondenzleitung zwischen Netz und Bild bereitzustellen, während räumliche Ausrichtungsachtung eingeführt wird, um das Bewusstsein für globale Kontexte in unserem Netzwerk zu ermöglichen. Bei der Erweiterung von PyMAF für die Rekonstruktion von Volumenmodellen des gesamten Körpers schlägt PyMAF-X eine adaptive Integrationsstrategie vor, um natürliche Handgelenkpositionen zu erzeugen und gleichzeitig die gut alignierte Leistung der teilsspezifischen Schätzungen beizubehalten. Die Effektivität unseres Ansatzes wird an mehreren Benchmark-Datensätzen zur Rekonstruktion von Körper-, Hand-, Gesichts- und vollständigen Volumenmodellen überprüft, wobei PyMAF und PyMAF-X die Netz-Bild-Ausrichtung effektiv verbessern und neue Stand-von-der-Kunst-Ergebnisse erzielen. Die Projektseite mit Code und Videoergebnissen finden Sie unter https://www.liuyebin.com/pymaf-x.