PIC-Net: Point Cloud und Image Collaboration Network für die großflächige Ortserkennung

Die Ortsidentifikation gehört zu den aktuell intensiv erforschten Gebieten der Automatisierungstechnik und bleibt weiterhin eine offene Herausforderung. Kamera- und Lidar-Sensoren sind zwei etablierte Haupttypen von Sensoren für diese Aufgabe. Kamerabasierte Methoden sind empfindlich gegenüber Änderungen der Beleuchtungsbedingungen und der Jahreszeiten, während Lidar-Daten im Gegensatz zu Bildern weniger reichhaltige Informationen liefern. In diesem Beitrag stellen wir das PIC-Net (Point Cloud and Image Collaboration Network) vor, ein Netzwerk, das eine Aufmerksamkeitsmechanismus nutzt, um Merkmale aus Bildern und Punktwolken zu fusionieren und dabei komplementäre Informationen zwischen den beiden Modalitäten zu erschließen. Darüber hinaus transformieren wir zur Verbesserung der Erkennungsleistung in der Nacht Nachtbilder in einen Tagesstil. Vergleichsergebnisse zeigen, dass die Kombination von Bild und Punktwolke sowohl die rein bildbasierten als auch die rein punktwolkenbasierten Methoden übertrifft. Zudem führen der Aufmerksamkeitsansatz und die Tag-Nacht-Transformation zu einer weiteren Leistungssteigerung.