SkelFormer: Markerlose 3D-Pose- und Formschätzung mit Skelettransformatoren

Wir stellen SkelFormer vor, eine neuartige, markenlose Bewegungserfassungspipeline zur Schätzungen von menschlichen Posen und Formen aus mehreren Blickwinkeln. Unsere Methode verwendet zunächst standardisierte 2D-Schlüsselpunktschätzer, die auf umfangreichen realweltlichen Daten vortrainiert wurden, um 3D-Gelenkpositionen zu ermitteln. Anschließend haben wir einen regressionsbasierten invers-kinematischen Skelettransformer entwickelt, der die Gelenkpositionen in Pose- und Formrepräsentationen abbildet, selbst bei stark rauschigen Beobachtungen. Dieses Modul integriert Vorwissen über den Pose-Raum und inferiert den vollständigen Pose-Zustand zur Laufzeit. Die Trennung der 3D-Schlüsselpunkterkennung vom invers-kinematischen Problem sowie die durch unseren Skelettransformer gelernten expressiven Repräsentationen verbessern die Generalisierung unserer Methode auf unbekannte rauschige Daten. Wir evaluieren unsere Methode anhand dreier öffentlicher Datensätze sowohl in in-distribution- als auch in out-of-distribution-Einstellungen und beobachten eine starke Leistung im Vergleich zu früheren Arbeiten. Darüber hinaus zeigen Ablationsversuche den Einfluss jedes Moduls unserer Architektur. Schließlich untersuchen wir die Leistungsfähigkeit unserer Methode bei der Verarbeitung von Rauschen und starken Verdeckungen und finden eine erhebliche Robustheit im Vergleich zu anderen Lösungen.