PyMAF: 3D-Pose- und Formregression von Menschen mit pyramidalen Gitterausrichtung und Feedback-Schleife

Regressionsbasierte Methoden haben kürzlich vielversprechende Ergebnisse bei der Rekonstruktion von menschlichen Meshes aus monoaularen Bildern gezeigt. Durch die direkte Abbildung von Rohpixeln auf Modellparameter können diese Methoden über neuronale Netze in einem Feed-Forward-Verfahren parametrische Modelle erzeugen. Allerdings können geringfügige Abweichungen in den Parametern zu auffälligen Fehlanpassungen zwischen den geschätzten Meshes und den Bildbeweisen führen. Um dieses Problem zu lösen, schlagen wir eine Pyramidal Mesh Alignment Feedback (PyMAF)-Schleife vor, um eine Merkmalspyramide zu nutzen und die vorhergesagten Parameter explizit basierend auf dem Anpassungsstatus des Mesh-Bilds in unserem tiefen Regressor zu korrigieren. In PyMAF werden, ausgehend von den aktuell vorhergesagten Parametern, mesh-angepasste Beweise entsprechend aus feineren Merkmalsauflösungen extrahiert und zur Parameterkorrektur zurückgegeben. Um Rauschen zu reduzieren und die Zuverlässigkeit dieser Beweise zu erhöhen, wird eine zusätzliche pixelweise Überwachung am Merkmalsexkodierer durchgeführt, die unser Netzwerk anleitet, die wichtigsten Informationen in räumlichen Merkmalen beizubehalten. Die Effektivität unserer Methode wurde an mehreren Benchmarks validiert, darunter Human3.6M, 3DPW, LSP und COCO. Die experimentellen Ergebnisse zeigen, dass unser Ansatz die Anpassung zwischen Mesh und Bild in der Rekonstruktion konsequent verbessert. Die Projektseite mit Code und Videoergebnissen finden Sie unter https://hongwenzhang.github.io/pymaf.