HyperAIHyperAI

Command Palette

Search for a command to run...

Das Lernen der Rekonstruktion von 3D-Mensch-Pose und -Form durch Modellanpassung im Loop

Nikos Kolotouros∗1 Georgios Pavlakos∗1 Michael J. Black2 Kostas Daniilidis1

Zusammenfassung

Die modellbasierte Schätzung der menschlichen Körperhaltung wird derzeit durch zwei verschiedene Paradigmen angegangen. Optimierungsbasierte Methoden passen ein parametrisches Körpermuster iterativ an 2D-Beobachtungen an, was zu genauen Abbildungen zwischen Bild und Modell führt, aber oft langsam ist und empfindlich gegenüber der Initialisierung. Im Gegensatz dazu neigen regressionsbasierte Methoden, die ein tiefes Netzwerk verwenden, um die Modellparameter direkt aus den Pixeln zu schätzen, dazu, vernünftige, aber nicht pixelgenaue Ergebnisse zu liefern und erhebliche Mengen an Aufsicht zu benötigen. In dieser Arbeit geht es uns nicht darum, herauszufinden, welcher Ansatz besser ist. Unser zentrales Erkenntnis ist vielmehr, dass die beiden Paradigmen eine starke Zusammenarbeit eingehen können. Eine vernünftige, direkt regressive Schätzung des Netzwerks kann die iterative Optimierung initialisieren und so das Anpassungsverfahren schneller und genauer machen. Ähnlich kann eine pixelgenaue Anpassung durch iterative Optimierung als starke Aufsicht für das Netzwerk dienen. Dies bildet den Kern unseres vorgeschlagenen Ansatzes SPIN (SMPL-Optimierung im Loop). Das tiefe Netzwerk initialisiert einen iterativen Optimierungsprozess, der das Körpermuster während des Trainings auf 2D-Gelenke anpasst; die angepasste Schätzung wird anschließend verwendet, um das Netzwerk zu überwachen. Unser Ansatz ist von Natur aus selbstverbessernd, da bessere Netzwerkschätzungen die Optimierung zu besseren Lösungen führen können und genauere Anpassungen durch die Optimierung wiederum eine bessere Aufsicht für das Netzwerk bieten. Wir zeigen die Effektivität unseres Ansatzes in verschiedenen Szenarien, in denen 3D-Basiswahrheit selten oder gar nicht verfügbar ist, und übertreffen dabei konsistent die besten modellbasierten Haltungscha-t-z-un-gsmethoden erheblich. Die Projektwebsite mit Videos, Ergebnissen und Code finden Sie unter https://seas.upenn.edu/~nkolot/projects/spin.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp