HyperAIHyperAI
vor 2 Monaten

HybrIK: Eine hybride analytisch-neuronale Lösung für die inverse Kinematik zur Schätzung von 3D-Mensch-Pose und -Form

Li, Jiefeng ; Xu, Chao ; Chen, Zhicun ; Bian, Siyuan ; Yang, Lixin ; Lu, Cewu
HybrIK: Eine hybride analytisch-neuronale Lösung für die inverse Kinematik zur Schätzung von 3D-Mensch-Pose und -Form
Abstract

Modellbasierte Methoden zur Schätzung von 3D-Pose und -Form rekonstruieren ein vollständiges 3D-Gitter für den menschlichen Körper durch die Schätzung mehrerer Parameter. Das Lernen abstrakter Parameter ist jedoch ein hochgradig nichtlinearer Prozess und leidet unter der Fehlallokation zwischen Bild und Modell, was zu mäßigem Modellleistung führt. Im Gegensatz dazu kombinieren 3D-Schlüsselpunktschätzmethoden tiefgreifende CNN-Netze mit der volumnetrischen Darstellung, um eine Pixelgenauigkeit bei der Lokalisierung zu erreichen, können aber unrealistische Körperelemente vorhersagen. In dieser Arbeit adressieren wir die oben genannten Probleme, indem wir die Lücke zwischen Körperschätzung mittels Gitternetz und 3D-Schlüsselpunktschätzung schließen. Wir schlagen eine neuartige hybride Inverse-Kinematik-Lösung (HybrIK) vor. HybrIK transformiert präzise 3D-Gelenke direkt in relative Drehungen von Körperteilen für die Rekonstruktion eines 3D-Körpergitters, wobei die Drehung in Twist-und Swing-Komponenten zerlegt wird. Die Swing-Drehung wird analytisch mit Hilfe der 3D-Gelenke gelöst, während die Twist-Drehung aus visuellen Hinweisen durch das neuronale Netzwerk abgeleitet wird. Wir zeigen, dass HybrIK sowohl die Genauigkeit der 3D-Pose als auch die realistische Körperform des parametrischen Menschenmodells beibehält, was zu einem pixelgenauen 3D-Körpergitter und einer genaueren 3D-Pose als bei reinen 3D-Schlüsselpunktschätzmethoden führt. Ohne zusätzliche Verfeinerungen übertrifft die vorgeschlagene Methode auf verschiedenen Benchmarks für 3D-menschliche Pose und Form erheblich die Standesder Technik-Methoden. Als beispielhaftes Ergebnis zeigt HybrIK auf dem Datensatz 3DPW eine Verbesserung um 13,2 mm MPJPE (Mean Per Joint Position Error) und 21,9 mm PVE (Per Vertex Error) gegenüber allen bisherigen Methoden. Unser Code ist unter https://github.com/Jeff-sjtu/HybrIK verfügbar.