Das Beste aus beiden Welten: Kombination von modellbasierten und nichtparametrischen Ansätzen für die 3D-Schätzung des menschlichen Körpers

Nichtparametrische Methoden haben kürzlich vielversprechende Ergebnisse bei der Rekonstruktion menschlicher Körper aus monokularen Bildern gezeigt, während modellbasierte Methoden dazu beitragen können, diese Schätzungen zu korrigieren und die Vorhersage zu verbessern. Die Schätzung von Modellparametern anhand globaler Bildmerkmale kann jedoch zu auffälligen Fehlanpassungen zwischen den geschätzten Netzen und den Bildbeweisen führen. Um dieses Problem anzugehen und das Beste aus beiden Ansätzen zu nutzen, schlagen wir ein Framework mit drei aufeinanderfolgenden Modulen vor. Ein Modul zur dichten Kartenprädiktion etabliert explizit die dichte UV-Korrespondenz zwischen dem Bildbeweis und jedem Teil des Körpormodells. Das inverse Kinematikmodul verfeinert die Vorhersage der Schlüsselpunkte und generiert ein posiertes Template-Netz. Schließlich vervollständigt ein UV-Inpainting-Modul die Vorhersagen der verdeckten Körperform unter Verwendung der entsprechenden Merkmale, Vorhersagen und des posierten Templates. Unser Framework nutzt das Beste aus nichtparametrischen und modellbasierten Methoden und ist auch robust gegenüber partieller Verdeckung. Experimente zeigen, dass unser Framework bestehende 3D-Menschenschätzmethoden auf mehreren öffentlichen Benchmarks übertrifft.