NIKI: Neuronale Inverse Kinematik mit invertierbaren neuronalen Netzen für die 3D-Pose- und Formschätzung von Menschen

Mit dem Fortschritt der 3D-Menschlichen-Pose- und -Formschätzung könnenstandardschwere Methoden entweder robust gegenüber Verdeckungen sein oder inFällen ohne Verdeckung Pixelgenauigkeit erzielen. Allerdings können sie nichtgleichzeitig Robustheit und Netzwerk-Bild-Ausrichtung gewährleisten. In dieserArbeit stellen wir NIKI (Neurale Inverse Kinematik mit invertierbarem neuronalenNetzwerk) vor, das bidirektionale Fehler modelliert, um die Robustheit gegenüberVerdeckungen zu verbessern und gleichzeitig Pixelgenauigkeit zu erzielen. NIKIkann sowohl aus dem Vorwärts- als auch aus dem Rückwärtsprozess mit invertierbarenNetzwerken lernen. Im Rückwärtsprozess trennt das Modell den Fehler vom plausiblen3D-Pose-Manifold für eine robuste 3D-Menschliche-Pose-Schätzung. Im Vorwärtsprozesssetzen wir Nullfehler-Randbedingungen ein, um die Empfindlichkeit gegenüber zuverlässigenGelenkpositionen zu erhöhen und so eine bessere Netzwerk-Bild-Ausrichtung zu erreichen.Darüber hinaus emuliert NIKI analytische Algorithmen der inversen Kinematik durch dieTwist-and-Swing-Zerlegung (Twist-and-Swing Decomposition), um eine bessere Interpretierbarkeit zu bieten.Experimente an Standard- und speziellen Verdeckungsbenchmarks zeigen die Effektivität von NIKI,bei denen wir gleichzeitig robuste und gut ausgerichtete Ergebnisse präsentieren. Der Quellcode ist unterhttps://github.com/Jeff-sjtu/NIKI verfügbar.