NEAT: Neuronale Aufmerksamkeitsfelder für end-to-end autonomes Fahren

Effizientes Schließen über die semantische, räumliche und zeitliche Struktur einer Szene ist eine entscheidende Voraussetzung für autonomes Fahren. Wir stellen NEural ATtention fields (NEAT) vor, eine neue Darstellung, die solches Schließen für end-to-end Imitationslernen-Modelle ermöglicht. NEAT ist eine kontinuierliche Funktion, die Orte in Koordinaten der Vogelperspektive (Bird's Eye View, BEV) auf Wegpunkte und Semantik abbildet, wobei es mittels Zwischen-Aufmerksamkeitskarten hochdimensionale 2D-Bildmerkmale schrittweise in eine kompakte Darstellung komprimiert. Dies ermöglicht es unserem Modell, sich selektiv auf relevante Bereiche im Eingang zu konzentrieren und Informationen zu ignorieren, die für die Fahrzeugsteuerung irrelevant sind, indem es die Bilder effektiv mit der BEV-Darstellung verknüpft. In einer neuen Evaluierungssituation unter ungünstigen Umweltbedingungen und herausfordernden Szenarien übertrifft NEAT mehrere starke Baseline-Methoden und erreicht Fahrzeugbewertungen vergleichbar mit denen des privilegierten CARLA-Experten, der zur Erstellung seiner Trainingsdaten verwendet wurde. Darüber hinaus bietet die Visualisierung der Aufmerksamkeitskarten für Modelle mit NEAT-Zwischendarstellungen verbesserte Interpretierbarkeit.