Das Lernen der Rekonstruktion von 3D-Mensch-Pose und -Form durch Modellanpassung im Loop
Die modellbasierte Schätzung der menschlichen Körperhaltung wird derzeit durch zwei verschiedene Paradigmen angegangen. Optimierungsbasierte Methoden passen ein parametrisches Körpermuster iterativ an 2D-Beobachtungen an, was zu genauen Abbildungen zwischen Bild und Modell führt, aber oft langsam ist und empfindlich gegenüber der Initialisierung. Im Gegensatz dazu neigen regressionsbasierte Methoden, die ein tiefes Netzwerk verwenden, um die Modellparameter direkt aus den Pixeln zu schätzen, dazu, vernünftige, aber nicht pixelgenaue Ergebnisse zu liefern und erhebliche Mengen an Aufsicht zu benötigen. In dieser Arbeit geht es uns nicht darum, herauszufinden, welcher Ansatz besser ist. Unser zentrales Erkenntnis ist vielmehr, dass die beiden Paradigmen eine starke Zusammenarbeit eingehen können. Eine vernünftige, direkt regressive Schätzung des Netzwerks kann die iterative Optimierung initialisieren und so das Anpassungsverfahren schneller und genauer machen. Ähnlich kann eine pixelgenaue Anpassung durch iterative Optimierung als starke Aufsicht für das Netzwerk dienen. Dies bildet den Kern unseres vorgeschlagenen Ansatzes SPIN (SMPL-Optimierung im Loop). Das tiefe Netzwerk initialisiert einen iterativen Optimierungsprozess, der das Körpermuster während des Trainings auf 2D-Gelenke anpasst; die angepasste Schätzung wird anschließend verwendet, um das Netzwerk zu überwachen. Unser Ansatz ist von Natur aus selbstverbessernd, da bessere Netzwerkschätzungen die Optimierung zu besseren Lösungen führen können und genauere Anpassungen durch die Optimierung wiederum eine bessere Aufsicht für das Netzwerk bieten. Wir zeigen die Effektivität unseres Ansatzes in verschiedenen Szenarien, in denen 3D-Basiswahrheit selten oder gar nicht verfügbar ist, und übertreffen dabei konsistent die besten modellbasierten Haltungscha-t-z-un-gsmethoden erheblich. Die Projektwebsite mit Videos, Ergebnissen und Code finden Sie unter https://seas.upenn.edu/~nkolot/projects/spin.