LInKs „Lifting Independent Keypoints“ -- Partielle Pose-Lifting für die Behandlung von Verdeckungen mit verbessertem Genauigkeitsgrad in der 2D-3D-Pose-Schätzung von Menschen

Wir stellen LInKs vor, eine neuartige Methode des unüberwachten Lernens zur Rekonstruktion von 3D-Menschpose aus 2D-kinematischen Skeletten, die aus einem einzelnen Bild gewonnen werden, auch bei Vorliegen von Verdeckungen. Unser Ansatz folgt einem einzigartigen zweistufigen Prozess, der initially das verdeckte 2D-Pose in den 3D-Bereich überträgt und anschließend die verdeckten Teile unter Verwendung der teilweise rekonstruierten 3D-Koordinaten auffüllt. Dieser Ansatz „Liften und dann Auffüllen“ führt zu erheblich genauereren Ergebnissen im Vergleich zu Modellen, die die Pose allein im 2D-Raum vervollständigen. Zudem verbessern wir die Stabilität und die Likelihood-Schätzung von Normalizing Flows durch eine benutzerdefinierte Abtastfunktion, die die früher verwendete PCA-Dimensionalitätsreduktion (Principal Component Analysis) ablöst. Darüber hinaus sind wir die Ersten, die untersuchen, ob verschiedene Teile des 2D-kinematischen Skeletts unabhängig voneinander in den 3D-Bereich übertragen werden können. Wir finden heraus, dass dies alleine den Fehler aktueller Lifting-Ansätze reduziert. Wir gehen davon aus, dass dies auf eine Verringerung der langreichweitigen Keypoint-Korrelationen zurückzuführen ist. In unserer detaillierten Auswertung quantifizieren wir den Fehler unter verschiedenen realistischen Verdeckungsszenarien und demonstrieren damit die Vielseitigkeit und Anwendbarkeit unseres Modells. Unsere Ergebnisse zeigen konsistent seine Überlegenheit bei der Behandlung aller Arten von Verdeckungen im 3D-Raum im Vergleich zu anderen Methoden, die die Pose im 2D-Raum vervollständigen. Auch in Szenarien ohne Verdeckungen erreicht unser Ansatz eine konstante Genauigkeit, wie durch eine Reduktion des Rekonstruktionsfehlers um 7,9 % im Vergleich zu früheren Arbeiten am Human3.6M-Datensatz nachgewiesen wurde. Des Weiteren zeichnet sich unsere Methode dadurch aus, dass sie vollständige 3D-Posen auch bei Vorliegen von Verdeckungen sehr genau rekonstruieren kann, was sie besonders für Situationen geeignet macht, in denen vollständige 2D-Poseinformation nicht verfügbar ist.