HyperAIHyperAI

Command Palette

Search for a command to run...

MeTRAbs: Metrische Skalierung und Trunkierungsrobuste Heatmaps für die absolute 3D-Pose-Schätzung von Menschen

István Sárándi, Student Member, IEEE Timm Linder, Member, IEEE Kai O. Arras, Member, IEEE Bastian Leibe, Member, IEEE

Zusammenfassung

Wärmekarten-Darstellungen bilden seit vielen Jahren die Grundlage von Systemen zur Schätzung menschlicher Körperhaltungen und ihre Erweiterung auf den 3D-Bereich war eine fruchtbare Forschungsrichtung in jüngerer Zeit. Dies umfasst 2.5D volumetrische Wärmekarten, deren X- und Y-Achsen dem Bildraum entsprechen und die Z-Achse der metrischen Tiefe um das Subjekt. Um metrisch skalierte Vorhersagen zu erhalten, benötigen 2.5D-Methoden einen separaten Nachbearbeitungsschritt, um die Skalierungsmehrdeutigkeit aufzulösen. Darüber hinaus können sie Körperteile außerhalb der Bildgrenzen nicht lokalisieren, was zu unvollständigen Schätzungen für abgeschnittene Bilder führt. Um diese Einschränkungen zu überwinden, schlagen wir metrisch skalierte truncation-robuste (MeTRo) volumetrische Wärmekarten vor, deren Dimensionen alle im metrischen 3D-Raum definiert sind, anstatt mit dem Bildraum ausgerichtet zu sein. Diese Neuauffassung der Wärmekarten-Dimensionen ermöglicht es uns, vollständige, metrisch skalierte Körperhaltungen direkt zu schätzen, ohne bei der Testzeit Kenntnisse über den Abstand oder auf anthropometrische Heuristiken wie Knochenlängen zurückzugreifen. Um die Nützlichkeit unserer Darstellung weiter zu unterstreichen, präsentieren wir eine differenzierbare Kombination unserer 3D-metrischen Wärmekarten mit 2D-Bildraum-Wärmekarten zur Schätzung absoluter 3D-Körperhaltungen (unsere MeTRAbs-Architektur). Wir stellen fest, dass die Überwachung durch Verlustfunktionen des absoluten Posens für eine genaue Lokalisation ohne Bezug zum Wurzelknoten entscheidend ist. Unter Verwendung eines ResNet-50-Rückgratnetzes ohne weitere gelernte Schichten erzielen wir Stand-of-the-Art-Ergebnisse auf Human3.6M, MPI-INF-3DHP und MuPoTS-3D. Unser Code wird öffentlich zugänglich gemacht, um weitere Forschungen zu fördern.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
MeTRAbs: Metrische Skalierung und Trunkierungsrobuste Heatmaps für die absolute 3D-Pose-Schätzung von Menschen | Paper | HyperAI