Ego3DPose: Erfassung von 3D-Hinweisen aus binokularen Egoperspektiven

Wir präsentieren Ego3DPose, ein hochgenaues System zur binokularen egozentrischen 3D-Pose-Rekonstruktion. Die binokulare egozentrische Konfiguration bietet Praktikabilität und Nutzen in verschiedenen Anwendungen, bleibt jedoch weitgehend unerforscht. Sie litt bisher unter geringer Pose-Schätzgenauigkeit aufgrund von Sehverzerrungen, starken Selbstverschließungen und begrenztem Sichtfeld der Gelenke in egozentrischen 2D-Bildern. Hierbei bemerken wir, dass zwei wichtige 3D-Hinweise, nämlich Stereokorrespondenzen und Perspektive, in den egozentrischen binokularen Eingaben vernachlässigt werden. Aktuelle Methoden basieren stark auf 2D-Bildmerkmalen und lernen implizit 3D-Informationen, was zu Verzerrungen bei häufig beobachteten Bewegungen führt und die Gesamtgenauigkeit verringert. Wir stellen fest, dass diese Methoden nicht nur bei herausfordernden Verschlussfällen versagen, sondern auch bei der Schätzung sichtbarer Gelenkpositionen. Um diese Herausforderungen anzugehen, schlagen wir zwei innovative Ansätze vor. Erstens entwickeln wir eine Netzwerkarchitektur mit zwei Pfaden, wobei ein Pfad die Pose für jedes Gliedmaß unabhängig von dessen binokularer Hitmap schätzt. Ohne vollständige Körperteilinformationen zu liefern, reduziert dies die Verzerrung gegenüber der trainierten Verteilung des gesamten Körpers. Zweitens nutzen wir die egozentrische Sichtweise der Körperteile, die starke Perspektivunterschiede aufweist (z.B. eine erheblich vergrößernde Hand nahe am Kamerasensor). Wir schlagen eine neue perspektivbewusste Darstellung mithilfe von Trigonometrie vor, die es dem Netzwerk ermöglicht, die 3D-Orientierung der Gliedmaße zu schätzen. Schließlich entwickeln wir ein end-to-end Pose-Rekonstruktionsnetzwerk, das beide Techniken synergetisch vereint. Unsere umfassenden Evaluierungen zeigen, dass Ego3DPose im UnrealEgo-Datensatz durch eine Reduktion des Pose-Schätzfehlers (d.h., MPJPE) von 23,1 % den aktuellen Stand der Technik übertrifft. Unsere qualitativen Ergebnisse unterstreichen die Überlegenheit unseres Ansatzes in einer Vielzahl von Szenarien und Herausforderungen.