HyperAIHyperAI

Command Palette

Search for a command to run...

EPro-PnP: Verallgemeinertes end-to-end probabilistisches Perspective-n-Points für die monokulare Objektposeabschätzung

Hansheng Chen Wei Tian Pichao Wang Fan Wang Lu Xiong Hao Li

Zusammenfassung

Die Schätzung von 3D-Objekten aus einer einzigen RGB-Bildaufnahme mittels Perspective-n-Point (PnP) ist ein klassisches Problem der Computer Vision. Getrieben durch end-to-end tiefe Lernverfahren schlagen jüngere Studien vor, PnP als differenzierbare Schicht zu interpretieren, wodurch Teile der 2D-3D-Punktkorrespondenzen durch Rückpropagierung der Gradienten des Pose-Verlustes gelernt werden können. Dennoch ist das Lernen der gesamten Korrespondenzen von Grund auf äußerst herausfordernd, insbesondere bei mehrdeutigen Pose-Lösungen, bei denen die global optimale Pose theoretisch nicht differenzierbar bezüglich der Punktkoordinaten ist. In diesem Paper stellen wir EPro-PnP vor – eine probabilistische PnP-Schicht für allgemeine end-to-end-Pose-Schätzung, die eine Verteilung der Pose auf dem SE(3)-Mannigfaltigkeit mit einer differenzierbaren Wahrscheinlichkeitsdichte ausgibt. Die 2D-3D-Koordinaten und zugehörigen Gewichte werden als Zwischenvariablen behandelt, die durch Minimierung der Kullback-Leibler-Divergenz zwischen der vorhergesagten und der Ziel-Pose-Verteilung gelernt werden. Das zugrundeliegende Prinzip verallgemeinert frühere Ansätze und erinnert an die Aufmerksamkeitsmechanismen. EPro-PnP kann bestehende Korrespondenznetzwerke verbessern und die Lücke zwischen PnP-basierten Methoden und den führenden Verfahren auf dem LineMOD 6DoF-Pose-Schätzungsbenchmark schließen. Darüber hinaus eröffnet EPro-PnP neue Möglichkeiten für die Netzwerkarchitekturgestaltung, wie wir anhand eines neuartigen deformierbaren Korrespondenznetzwerks mit state-of-the-art-Posegenauigkeit auf dem nuScenes 3D-Objekterkennungsbenchmark demonstrieren. Unser Code ist unter https://github.com/tjiiv-cprg/EPro-PnP-v2 verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp