HyperAIHyperAI

Command Palette

Search for a command to run...

SkelFormer: Markerlose 3D-Pose- und Formschätzung mit Skelettransformatoren

Vandad Davoodnia Saeed Ghorbani Alexandre Messier Ali Etemad

Zusammenfassung

Wir stellen SkelFormer vor, eine neuartige, markenlose Bewegungserfassungspipeline zur Schätzungen von menschlichen Posen und Formen aus mehreren Blickwinkeln. Unsere Methode verwendet zunächst standardisierte 2D-Schlüsselpunktschätzer, die auf umfangreichen realweltlichen Daten vortrainiert wurden, um 3D-Gelenkpositionen zu ermitteln. Anschließend haben wir einen regressionsbasierten invers-kinematischen Skelettransformer entwickelt, der die Gelenkpositionen in Pose- und Formrepräsentationen abbildet, selbst bei stark rauschigen Beobachtungen. Dieses Modul integriert Vorwissen über den Pose-Raum und inferiert den vollständigen Pose-Zustand zur Laufzeit. Die Trennung der 3D-Schlüsselpunkterkennung vom invers-kinematischen Problem sowie die durch unseren Skelettransformer gelernten expressiven Repräsentationen verbessern die Generalisierung unserer Methode auf unbekannte rauschige Daten. Wir evaluieren unsere Methode anhand dreier öffentlicher Datensätze sowohl in in-distribution- als auch in out-of-distribution-Einstellungen und beobachten eine starke Leistung im Vergleich zu früheren Arbeiten. Darüber hinaus zeigen Ablationsversuche den Einfluss jedes Moduls unserer Architektur. Schließlich untersuchen wir die Leistungsfähigkeit unserer Methode bei der Verarbeitung von Rauschen und starken Verdeckungen und finden eine erhebliche Robustheit im Vergleich zu anderen Lösungen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp