HybrIK-X: Hybride analytisch-neuronale Inverse Kinematik für die Wiederherstellung des gesamtkörperlichen Meshes

Die Wiederherstellung von Ganzkörpergittern durch die Inferenz abstrakter Pose- und Formparameter aus visuellem Inhalt kann 3D-Körper mit realistischen Strukturen erzeugen. Allerdings ist der Inferenzprozess stark nichtlinear und leidet unter Bild-Gitter-Misalignments, was zu ungenauen Rekonstruktionen führt. Im Gegensatz dazu nutzen Methoden zur Schätzung von 3D-Landmarken die volumetrische Darstellung, um Pixelgenauigkeit zu erreichen, können aber unrealistische Körperstrukturen vorhersagen. Um diese Probleme anzugehen, präsentiert dieser Artikel eine neuartige hybride Inverse-Kinematik-Lösung, HybrIK, die die Vorteile von 3D-Landmarkenschätzung und Ganzkörpergitterwiederherstellung in einem einheitlichen Framework integriert. HybrIK transformiert genaue 3D-Gelenke direkt in Körpersegmentrotationen durch Zerlegung in Drehung (twist) und Schwenkung (swing). Die Schwenkungsrotationen werden analytisch mit den 3D-Gelenken gelöst, während die Drehungsrotationen aus visuellen Hinweisen durch neuronale Netze abgeleitet werden. Um umfassende Ganzkörperdetails zu erfassen, entwickeln wir zudem einen holistischen Ansatz, HybrIK-X, der HybrIK durch artikulierte Hände und ein ausdrucksstarkes Gesicht ergänzt. HybrIK-X ist schnell und genau, da es die Ganzkörperpose mit einem einstufigen Modell löst. Experimente zeigen, dass HybrIK und HybrIK-X sowohl die Genauigkeit der 3D-Gelenke als auch die realistische Struktur des parametrischen Menschenmodells bewahren, was zu einer pixelgenauen Wiederherstellung des Ganzkörpergitters führt. Die vorgeschlagene Methode übertrifft signifikant die Stand-of-the-Art-Methoden auf verschiedenen Benchmarks für Szenarien mit nur dem Körper, nur den Händen und dem gesamten Körper. Der Quellcode und die Ergebnisse sind unter https://jeffli.site/HybrIK-X/ verfügbar.