RNNPose: Rekurrente 6-DoF-Objektpose-Feinabstimmung mit robuster Korrespondenzfeldschätzung und Pose-Optimierung

Die Schätzung der 6-DoF-Objektpose aus einem monokularen Bild ist herausfordernd, und eine nachgeschaltete Verfeinerung ist typischerweise erforderlich, um eine hohe Präzision zu erreichen. In diesem Paper stellen wir einen Rahmenwerk basierend auf einem rekurrenten neuronalen Netzwerk (RNN) für die Verfeinerung der Objektpose vor, der robust gegenüber fehlerhaften Ausgangsposen und Verdeckungen ist. Während der rekurrenten Iterationen wird die Verfeinerung der Objektpose als ein nichtlineares Kleinste-Quadrate-Problem formuliert, das auf der geschätzten Korrespondenzfeld (zwischen einem gerenderten Bild und dem beobachteten Bild) basiert. Dieses Problem wird anschließend durch einen differenzierbaren Levenberg-Marquardt-(LM)-Algorithmus gelöst, was eine end-to-end-Trainierung ermöglicht. Die Schätzung des Korrespondenzfelds und die Verfeinerung der Pose werden in jeder Iteration abwechselnd durchgeführt, um die Objektposen zu rekonstruieren. Darüber hinaus verbessern wir die Robustheit gegenüber Verdeckungen durch die Einführung einer Konsistenzprüfung basierend auf den gelernten Deskriptoren des 3D-Modells und der beobachteten 2D-Bilder, die unzuverlässige Korrespondenzen während der Pose-Optimierung abschwächt. Umfangreiche Experimente auf den Datensätzen LINEMOD, Occlusion-LINEMOD und YCB-Video bestätigen die Wirksamkeit unseres Ansatzes und demonstrieren eine state-of-the-art-Leistung.