HyperAIHyperAI

Command Palette

Search for a command to run...

HybrIK: Eine hybride analytisch-neuronale Lösung für die inverse Kinematik zur Schätzung von 3D-Mensch-Pose und -Form

Li Jiefeng ; Xu Chao ; Chen Zhicun ; Bian Siyuan ; Yang Lixin ; Lu Cewu

Zusammenfassung

Modellbasierte Methoden zur Schätzung von 3D-Pose und -Form rekonstruieren ein vollständiges 3D-Gitter für den menschlichen Körper durch die Schätzung mehrerer Parameter. Das Lernen abstrakter Parameter ist jedoch ein hochgradig nichtlinearer Prozess und leidet unter der Fehlallokation zwischen Bild und Modell, was zu mäßigem Modellleistung führt. Im Gegensatz dazu kombinieren 3D-Schlüsselpunktschätzmethoden tiefgreifende CNN-Netze mit der volumnetrischen Darstellung, um eine Pixelgenauigkeit bei der Lokalisierung zu erreichen, können aber unrealistische Körperelemente vorhersagen. In dieser Arbeit adressieren wir die oben genannten Probleme, indem wir die Lücke zwischen Körperschätzung mittels Gitternetz und 3D-Schlüsselpunktschätzung schließen. Wir schlagen eine neuartige hybride Inverse-Kinematik-Lösung (HybrIK) vor. HybrIK transformiert präzise 3D-Gelenke direkt in relative Drehungen von Körperteilen für die Rekonstruktion eines 3D-Körpergitters, wobei die Drehung in Twist-und Swing-Komponenten zerlegt wird. Die Swing-Drehung wird analytisch mit Hilfe der 3D-Gelenke gelöst, während die Twist-Drehung aus visuellen Hinweisen durch das neuronale Netzwerk abgeleitet wird. Wir zeigen, dass HybrIK sowohl die Genauigkeit der 3D-Pose als auch die realistische Körperform des parametrischen Menschenmodells beibehält, was zu einem pixelgenauen 3D-Körpergitter und einer genaueren 3D-Pose als bei reinen 3D-Schlüsselpunktschätzmethoden führt. Ohne zusätzliche Verfeinerungen übertrifft die vorgeschlagene Methode auf verschiedenen Benchmarks für 3D-menschliche Pose und Form erheblich die Standesder Technik-Methoden. Als beispielhaftes Ergebnis zeigt HybrIK auf dem Datensatz 3DPW eine Verbesserung um 13,2 mm MPJPE (Mean Per Joint Position Error) und 21,9 mm PVE (Per Vertex Error) gegenüber allen bisherigen Methoden. Unser Code ist unter https://github.com/Jeff-sjtu/HybrIK verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp