HyperAIHyperAI

Command Palette

Search for a command to run...

LInKs „Lifting Independent Keypoints“ -- Partielle Pose-Lifting für die Behandlung von Verdeckungen mit verbessertem Genauigkeitsgrad in der 2D-3D-Pose-Schätzung von Menschen

Peter Hardy; Hansung Kim

Zusammenfassung

Wir stellen LInKs vor, eine neuartige Methode des unüberwachten Lernens zur Rekonstruktion von 3D-Menschpose aus 2D-kinematischen Skeletten, die aus einem einzelnen Bild gewonnen werden, auch bei Vorliegen von Verdeckungen. Unser Ansatz folgt einem einzigartigen zweistufigen Prozess, der initially das verdeckte 2D-Pose in den 3D-Bereich überträgt und anschließend die verdeckten Teile unter Verwendung der teilweise rekonstruierten 3D-Koordinaten auffüllt. Dieser Ansatz „Liften und dann Auffüllen“ führt zu erheblich genauereren Ergebnissen im Vergleich zu Modellen, die die Pose allein im 2D-Raum vervollständigen. Zudem verbessern wir die Stabilität und die Likelihood-Schätzung von Normalizing Flows durch eine benutzerdefinierte Abtastfunktion, die die früher verwendete PCA-Dimensionalitätsreduktion (Principal Component Analysis) ablöst. Darüber hinaus sind wir die Ersten, die untersuchen, ob verschiedene Teile des 2D-kinematischen Skeletts unabhängig voneinander in den 3D-Bereich übertragen werden können. Wir finden heraus, dass dies alleine den Fehler aktueller Lifting-Ansätze reduziert. Wir gehen davon aus, dass dies auf eine Verringerung der langreichweitigen Keypoint-Korrelationen zurückzuführen ist. In unserer detaillierten Auswertung quantifizieren wir den Fehler unter verschiedenen realistischen Verdeckungsszenarien und demonstrieren damit die Vielseitigkeit und Anwendbarkeit unseres Modells. Unsere Ergebnisse zeigen konsistent seine Überlegenheit bei der Behandlung aller Arten von Verdeckungen im 3D-Raum im Vergleich zu anderen Methoden, die die Pose im 2D-Raum vervollständigen. Auch in Szenarien ohne Verdeckungen erreicht unser Ansatz eine konstante Genauigkeit, wie durch eine Reduktion des Rekonstruktionsfehlers um 7,9 % im Vergleich zu früheren Arbeiten am Human3.6M-Datensatz nachgewiesen wurde. Des Weiteren zeichnet sich unsere Methode dadurch aus, dass sie vollständige 3D-Posen auch bei Vorliegen von Verdeckungen sehr genau rekonstruieren kann, was sie besonders für Situationen geeignet macht, in denen vollständige 2D-Poseinformation nicht verfügbar ist.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp