CorrI2P: Tiefes Bild-zu-Punktewolke-Registrierung durch dichte Korrespondenz

Motiviert durch die Intuition, dass der entscheidende Schritt zur Lokalisierung eines 2D-Bildes im entsprechenden 3D-Punktwolkenmodell die Herstellung einer 2D-3D-Korrespondenz zwischen ihnen ist, schlagen wir den ersten featurebasierten dichten Korrespondenzrahmen für das Problem der Bild-zu-Punktwolken-Registrierung vor, den wir CorrI2P nennen. Dieser besteht aus drei Modulen, nämlich Feature-Verankerung (feature embedding), symmetrische Überlappungsregionserkennung und Pose-Schätzung durch die hergestellte Korrespondenz.Speziell transformieren wir bei gegebenem Paar aus einem 2D-Bild und einer 3D-Punktwolke diese zunächst in einen hochdimensionalen Featurespace und geben die resultierenden Features an einen symmetrischen Überlappungsregionserkennungsdetektor weiter, um die Region zu bestimmen, in der sich Bild und Punktwolke überlappen. Anschließend nutzen wir die Features der Überlappungsregionen, um eine 2D-3D-Korrespondenz herzustellen, bevor wir EPnP innerhalb von RANSAC verwenden, um die Kamerapose zu schätzen. Experimentelle Ergebnisse auf den Datensätzen KITTI und NuScenes zeigen, dass unser CorrI2P erheblich besser abschneidet als aktuelle Methoden zur Bild-zu-Punktwolken-Registrierung. Wir werden den Code öffentlich zur Verfügung stellen.