End-to-End lernbare geometrische Vision durch Rückpropagierung der PnP-Optimierung

Tiefen Netzwerke zeichnen sich durch ihre Fähigkeit aus, Muster aus großen Datenmengen zu lernen. Andererseits werden viele Aufgaben der geometrischen Vision als Optimierungsprobleme formuliert. Um den Bereich des tiefen Lernens nahtlos mit der geometrischen Vision zu verbinden, ist es entscheidend, Lernen und geometrische Optimierung end-to-end durchzuführen. Ziel dieser Arbeit ist die Einführung von BPnP, einem neuartigen Netzwerkmodul, das Gradienten durch einen Perspective-n-Points (PnP)-Solver zurückpropagiert, um die Parameteranpassung eines neuronalen Netzwerks zu leiten. Basierend auf impliziter Differentiation zeigen wir, dass die Gradienten eines „selbstständigen“ PnP-Solvers genau und effizient berechnet werden können, als ob der Optimierer-Block eine differenzierbare Funktion wäre. Wir validieren BPnP, indem wir es in ein tiefes Modell integrieren, das in der Lage ist, Kamerainterne, Kamera-Externe (Pose) und 3D-Struktur aus Trainingsdatensätzen zu lernen. Darüber hinaus entwickeln wir eine end-to-end trainierbare Pipeline für die Objektpose-Schätzung, die durch die Kombination von feature-basierten Heatmap-Verlusten mit 2D-3D-Reprojektionsfehlern eine höhere Genauigkeit erreicht. Da unser Ansatz auf andere Optimierungsprobleme erweitert werden kann, trägt unsere Arbeit dazu bei, den Weg für eine systematische, lernbare geometrische Vision zu ebnen. Unsere PyTorch-Implementierung von BPnP ist unter http://github.com/BoChenYS/BPnP verfügbar.