Ein Sim2Real Tiefenlernansatz für die Transformation von Bildern mehrerer Fahrzeugkameras zu einem semantisch segmentierten Vogelperspektivbild

Genaue Umgebungserkennung ist für das automatische Fahren essentiell. Bei der Verwendung von Einzellinsen-Kameras stellt die Distanzschätzung von Elementen in der Umgebung eine große Herausforderung dar. Distanzen können leichter geschätzt werden, wenn die Kameraperspektive in eine Vogelperspektive (BEV, Bird's Eye View) transformiert wird. Für ebene Flächen kann die Inverse Perspektivabbildung (IPM, Inverse Perspective Mapping) Bilder genauer in eine BEV transformieren. Dreidimensionale Objekte wie Fahrzeuge und anfällige Straßennutzer werden durch diese Transformation verzerrt, was es schwierig macht, ihre Position relativ zum Sensor zu schätzen. Dieses Papier beschreibt eine Methodik zur Erstellung eines korrigierten 360°-BEV-Bildes aus Bildern mehrerer auf dem Fahrzeug montierter Kameras. Das korrigierte BEV-Bild wird in semantische Klassen segmentiert und enthält eine Vorhersage verdeckter Bereiche. Der neuronale Netzansatz basiert nicht auf manuell beschrifteten Daten, sondern wird auf einem synthetischen Datensatz trainiert, so dass er sich gut auf reale Daten verallgemeinert. Durch die Verwendung semantisch segmentierter Bilder als Eingabe verringern wir den Realitätsabstand zwischen simulierten und realen Daten und können zeigen, dass unsere Methode erfolgreich in der realen Welt angewendet werden kann. Ausführliche Experimente mit synthetischen Daten demonstrieren die Überlegenheit unseres Ansatzes im Vergleich zu IPM. Quellcode und Datensätze sind unter https://github.com/ika-rwth-aachen/Cam2BEV verfügbar.