Command Palette
Search for a command to run...
HybrIK-X: Hybride analytisch-neuronale Inverse Kinematik für die Wiederherstellung des gesamtkörperlichen Meshes
HybrIK-X: Hybride analytisch-neuronale Inverse Kinematik für die Wiederherstellung des gesamtkörperlichen Meshes
Jiefeng Li Siyuan Bian Chao Xu Zhicun Chen Lixin Yang Cewu Lu†, Member, IEEE
Zusammenfassung
Die Wiederherstellung von Ganzkörpergittern durch die Inferenz abstrakter Pose- und Formparameter aus visuellem Inhalt kann 3D-Körper mit realistischen Strukturen erzeugen. Allerdings ist der Inferenzprozess stark nichtlinear und leidet unter Bild-Gitter-Misalignments, was zu ungenauen Rekonstruktionen führt. Im Gegensatz dazu nutzen Methoden zur Schätzung von 3D-Landmarken die volumetrische Darstellung, um Pixelgenauigkeit zu erreichen, können aber unrealistische Körperstrukturen vorhersagen. Um diese Probleme anzugehen, präsentiert dieser Artikel eine neuartige hybride Inverse-Kinematik-Lösung, HybrIK, die die Vorteile von 3D-Landmarkenschätzung und Ganzkörpergitterwiederherstellung in einem einheitlichen Framework integriert. HybrIK transformiert genaue 3D-Gelenke direkt in Körpersegmentrotationen durch Zerlegung in Drehung (twist) und Schwenkung (swing). Die Schwenkungsrotationen werden analytisch mit den 3D-Gelenken gelöst, während die Drehungsrotationen aus visuellen Hinweisen durch neuronale Netze abgeleitet werden. Um umfassende Ganzkörperdetails zu erfassen, entwickeln wir zudem einen holistischen Ansatz, HybrIK-X, der HybrIK durch artikulierte Hände und ein ausdrucksstarkes Gesicht ergänzt. HybrIK-X ist schnell und genau, da es die Ganzkörperpose mit einem einstufigen Modell löst. Experimente zeigen, dass HybrIK und HybrIK-X sowohl die Genauigkeit der 3D-Gelenke als auch die realistische Struktur des parametrischen Menschenmodells bewahren, was zu einer pixelgenauen Wiederherstellung des Ganzkörpergitters führt. Die vorgeschlagene Methode übertrifft signifikant die Stand-of-the-Art-Methoden auf verschiedenen Benchmarks für Szenarien mit nur dem Körper, nur den Händen und dem gesamten Körper. Der Quellcode und die Ergebnisse sind unter https://jeffli.site/HybrIK-X/ verfügbar.