HyperAIHyperAI

Command Palette

Search for a command to run...

Ego3DPose: Erfassung von 3D-Hinweisen aus binokularen Egoperspektiven

Taeho Kang Kyungjin Lee Jinrui Zhang Youngki Lee

Zusammenfassung

Wir präsentieren Ego3DPose, ein hochgenaues System zur binokularen egozentrischen 3D-Pose-Rekonstruktion. Die binokulare egozentrische Konfiguration bietet Praktikabilität und Nutzen in verschiedenen Anwendungen, bleibt jedoch weitgehend unerforscht. Sie litt bisher unter geringer Pose-Schätzgenauigkeit aufgrund von Sehverzerrungen, starken Selbstverschließungen und begrenztem Sichtfeld der Gelenke in egozentrischen 2D-Bildern. Hierbei bemerken wir, dass zwei wichtige 3D-Hinweise, nämlich Stereokorrespondenzen und Perspektive, in den egozentrischen binokularen Eingaben vernachlässigt werden. Aktuelle Methoden basieren stark auf 2D-Bildmerkmalen und lernen implizit 3D-Informationen, was zu Verzerrungen bei häufig beobachteten Bewegungen führt und die Gesamtgenauigkeit verringert. Wir stellen fest, dass diese Methoden nicht nur bei herausfordernden Verschlussfällen versagen, sondern auch bei der Schätzung sichtbarer Gelenkpositionen. Um diese Herausforderungen anzugehen, schlagen wir zwei innovative Ansätze vor. Erstens entwickeln wir eine Netzwerkarchitektur mit zwei Pfaden, wobei ein Pfad die Pose für jedes Gliedmaß unabhängig von dessen binokularer Hitmap schätzt. Ohne vollständige Körperteilinformationen zu liefern, reduziert dies die Verzerrung gegenüber der trainierten Verteilung des gesamten Körpers. Zweitens nutzen wir die egozentrische Sichtweise der Körperteile, die starke Perspektivunterschiede aufweist (z.B. eine erheblich vergrößernde Hand nahe am Kamerasensor). Wir schlagen eine neue perspektivbewusste Darstellung mithilfe von Trigonometrie vor, die es dem Netzwerk ermöglicht, die 3D-Orientierung der Gliedmaße zu schätzen. Schließlich entwickeln wir ein end-to-end Pose-Rekonstruktionsnetzwerk, das beide Techniken synergetisch vereint. Unsere umfassenden Evaluierungen zeigen, dass Ego3DPose im UnrealEgo-Datensatz durch eine Reduktion des Pose-Schätzfehlers (d.h., MPJPE) von 23,1 % den aktuellen Stand der Technik übertrifft. Unsere qualitativen Ergebnisse unterstreichen die Überlegenheit unseres Ansatzes in einer Vielzahl von Szenarien und Herausforderungen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp