CORAL: Farbige strukturelle Darstellung für zweimodale Ortserkennung

Die Platzerkennung ist für ein driftfreies Lokalisierungssystem unverzichtbar. Aufgrund der Umweltvarianzen weisen Methoden zur Platzerkennung auf Basis einer einzigen Modality jedoch Grenzen auf. In diesem Artikel stellen wir eine bi-modale Platzerkennungsmethode vor, die einen kombinierten globalen Deskriptor aus den beiden Modalitäten, Vision und LiDAR, extrahieren kann. Konkret erstellen wir zunächst ein Höhenbild aus 3D-Punkten als strukturelle Darstellung. Anschließend leiten wir die Korrespondenzen zwischen 3D-Punkten und Bildpixeln ab, die anschließend zur Fusion von pixelweisen visuellen Merkmalen in die Gitter des Höhenbilds genutzt werden. Auf diese Weise werden strukturelle und visuelle Merkmale in einem konsistenten Vogelperspektiv-Frame fusioniert und erzeugen eine semantische Darstellung, die als CORAL bezeichnet wird. Das gesamte Netzwerk wird CORAL-VLAD genannt. Vergleiche auf dem Oxford RobotCar-Datensatz zeigen, dass CORAL-VLAD gegenüber anderen state-of-the-art-Methoden eine überlegene Leistung erbringt. Zudem demonstrieren wir, dass unser Netzwerk auf andere Szenarien und Sensorkonfigurationen auf cross-city-Datensätzen verallgemeinert werden kann.