MeTRAbs: Metrische Skalierung und Trunkierungsrobuste Heatmaps für die absolute 3D-Pose-Schätzung von Menschen

Wärmekarten-Darstellungen bilden seit vielen Jahren die Grundlage von Systemen zur Schätzung menschlicher Körperhaltungen und ihre Erweiterung auf den 3D-Bereich war eine fruchtbare Forschungsrichtung in jüngerer Zeit. Dies umfasst 2.5D volumetrische Wärmekarten, deren X- und Y-Achsen dem Bildraum entsprechen und die Z-Achse der metrischen Tiefe um das Subjekt. Um metrisch skalierte Vorhersagen zu erhalten, benötigen 2.5D-Methoden einen separaten Nachbearbeitungsschritt, um die Skalierungsmehrdeutigkeit aufzulösen. Darüber hinaus können sie Körperteile außerhalb der Bildgrenzen nicht lokalisieren, was zu unvollständigen Schätzungen für abgeschnittene Bilder führt. Um diese Einschränkungen zu überwinden, schlagen wir metrisch skalierte truncation-robuste (MeTRo) volumetrische Wärmekarten vor, deren Dimensionen alle im metrischen 3D-Raum definiert sind, anstatt mit dem Bildraum ausgerichtet zu sein. Diese Neuauffassung der Wärmekarten-Dimensionen ermöglicht es uns, vollständige, metrisch skalierte Körperhaltungen direkt zu schätzen, ohne bei der Testzeit Kenntnisse über den Abstand oder auf anthropometrische Heuristiken wie Knochenlängen zurückzugreifen. Um die Nützlichkeit unserer Darstellung weiter zu unterstreichen, präsentieren wir eine differenzierbare Kombination unserer 3D-metrischen Wärmekarten mit 2D-Bildraum-Wärmekarten zur Schätzung absoluter 3D-Körperhaltungen (unsere MeTRAbs-Architektur). Wir stellen fest, dass die Überwachung durch Verlustfunktionen des absoluten Posens für eine genaue Lokalisation ohne Bezug zum Wurzelknoten entscheidend ist. Unter Verwendung eines ResNet-50-Rückgratnetzes ohne weitere gelernte Schichten erzielen wir Stand-of-the-Art-Ergebnisse auf Human3.6M, MPI-INF-3DHP und MuPoTS-3D. Unser Code wird öffentlich zugänglich gemacht, um weitere Forschungen zu fördern.