PONet: Robuste 3D-Ganzkörper-Positionsabschätzung durch Lernen von Orientierungen allein

Die herkömmliche 3D-Menschenpose-Schätzung beruht darauf, zunächst 2D-Gelenkpunkte zu detektieren und anschließend das Problem der 2D-zu-3D-Zuordnung zu lösen. Trotz versprechender Ergebnisse ist dieses Lernparadigma stark von der Qualität des 2D-Gelenkpunktdetektors abhängig, der zwangsläufig anfällig für Verdeckung und Außerhalb-des-Bildes-Verbleiben ist. In diesem Artikel stellen wir ein neuartiges Pose Orientation Net (PONet) vor, das die 3D-Pose robust schätzen kann, indem es ausschließlich Orientierungen lernt und somit den fehleranfälligen Gelenkpunktdetektor umgeht, wenn keine Bildbeweise vorliegen. Bei Bildern mit teilweise unsichtbaren Gliedmaßen nutzt PONet lokale Bildinformationen, um die 3D-Orientierung dieser Gliedmaßen zu schätzen und so die 3D-Pose wiederherzustellen. Darüber hinaus ist PONet in der Lage, auch vollständige 3D-Posen aus Bildern mit völlig unsichtbaren Gliedmaßen abzuleiten, indem es Korrelationen zwischen sichtbaren Gliedmaßen ausnutzt, um die Schätzung zu ergänzen und die Robustheit der 3D-Pose-Schätzung weiter zu verbessern. Wir evaluieren unsere Methode an mehreren Datensätzen, darunter Human3.6M, MPII, MPI-INF-3DHP und 3DPW. Unser Ansatz erzielt Ergebnisse, die in idealen Szenarien mit den besten bisherigen Techniken vergleichbar sind, eliminiert jedoch signifikant die Abhängigkeit von Gelenkpunktdetektoren und deren damit verbundener Rechenlast. In besonders herausfordernden Situationen, wie Trunkation oder Auslöschung, zeigt unsere Methode eine hervorragende Robustheit und liefert deutlich bessere Ergebnisse als die State-of-the-Art-Methoden, was ihr großes Potenzial für Anwendungen in der realen Welt unterstreicht.