EPro-PnP: Verallgemeinertes end-to-end probabilistisches Perspective-n-Points für die monokulare Objektposeabschätzung

Die Schätzung von 3D-Objekten aus einer einzigen RGB-Bildaufnahme mittels Perspective-n-Point (PnP) ist ein klassisches Problem der Computer Vision. Getrieben durch end-to-end tiefe Lernverfahren schlagen jüngere Studien vor, PnP als differenzierbare Schicht zu interpretieren, wodurch Teile der 2D-3D-Punktkorrespondenzen durch Rückpropagierung der Gradienten des Pose-Verlustes gelernt werden können. Dennoch ist das Lernen der gesamten Korrespondenzen von Grund auf äußerst herausfordernd, insbesondere bei mehrdeutigen Pose-Lösungen, bei denen die global optimale Pose theoretisch nicht differenzierbar bezüglich der Punktkoordinaten ist. In diesem Paper stellen wir EPro-PnP vor – eine probabilistische PnP-Schicht für allgemeine end-to-end-Pose-Schätzung, die eine Verteilung der Pose auf dem SE(3)-Mannigfaltigkeit mit einer differenzierbaren Wahrscheinlichkeitsdichte ausgibt. Die 2D-3D-Koordinaten und zugehörigen Gewichte werden als Zwischenvariablen behandelt, die durch Minimierung der Kullback-Leibler-Divergenz zwischen der vorhergesagten und der Ziel-Pose-Verteilung gelernt werden. Das zugrundeliegende Prinzip verallgemeinert frühere Ansätze und erinnert an die Aufmerksamkeitsmechanismen. EPro-PnP kann bestehende Korrespondenznetzwerke verbessern und die Lücke zwischen PnP-basierten Methoden und den führenden Verfahren auf dem LineMOD 6DoF-Pose-Schätzungsbenchmark schließen. Darüber hinaus eröffnet EPro-PnP neue Möglichkeiten für die Netzwerkarchitekturgestaltung, wie wir anhand eines neuartigen deformierbaren Korrespondenznetzwerks mit state-of-the-art-Posegenauigkeit auf dem nuScenes 3D-Objekterkennungsbenchmark demonstrieren. Unser Code ist unter https://github.com/tjiiv-cprg/EPro-PnP-v2 verfügbar.