Unsicherheitsbewusste Anpassung für selbstüberwachte 3D-Mensch-Pose-Schätzung

Die Fortschritte im Bereich der monokularen 3D-Pose-Schätzung von Menschen werden hauptsächlich von überwachten Techniken dominiert, die umfangreiche 2D/3D-Pose-Annotierungen erfordern. Solche Methoden verhalten sich oft unvorhersehbar, wenn keine Möglichkeit besteht, unbekannte Daten außerhalb des Trainingsbereichs (out-of-distribution) zu verwerfen. Aus diesem Grund formulieren wir das Lernen der 3D-Pose als ein Problem der unüberwachten Domänenanpassung. Wir stellen MRP-Net vor, das eine gemeinsame tiefes Netzwerkbackbone mit zwei Ausgabeheadern aufweist, die zwei unterschiedliche Konfigurationen abdecken: a) modellfreie Gelenklokalisation und b) modellbasierte parametrische Regression. Diese Architektur ermöglicht es uns, geeignete Maße zur Quantifizierung der Vorhersageunsicherheit sowohl auf Pose- als auch auf Gelenkebene herzuleiten. Während die Überwachung nur auf gekennzeichneten synthetischen Stichproben erfolgt, zielt der Anpassungsprozess darauf ab, die Unsicherheit für die nicht gekennzeichneten Zielbilder zu minimieren und gleichzeitig die gleiche Unsicherheit für einen extrem ausfallenden Datensatz (Hintergründe) zu maximieren. Neben der Anpassung von synthetischen zu realen 3D-Posen ermöglichen die Gelenkunsicherheiten eine Erweiterung der Anpassung auf freie Bilder, selbst in Anwesenheit von Verdeckungs- und Abschneidungsszenarien. Wir präsentieren eine umfassende Bewertung des vorgeschlagenen Ansatzes und zeigen Spitzenleistungen auf Benchmark-Datensätzen.