Neubewertung der Open-Loop-Evaluation von End-to-End-autonomen Fahrsystemen in nuScenes

Moderne autonome Fahrsysteme werden typischerweise in drei Hauptaufgaben unterteilt: Wahrnehmung, Vorhersage und Planung. Die Planungsaufgabe beinhaltet die Vorhersage der Trajektorie des eigenen Fahrzeugs basierend auf Eingaben aus internen Absichten und der externen Umgebung sowie die entsprechende Steuerung des Fahrzeugs. Die meisten bestehenden Arbeiten bewerten ihre Leistung auf dem nuScenes-Datensatz mithilfe des L2-Fehlers und der Kollisionsrate zwischen den vorhergesagten Trajektorien und den tatsächlichen Werten (Ground Truth). In diesem Paper überprüfen wir diese etablierten Bewertungsmetriken erneut und untersuchen, ob sie tatsächlich die Überlegenheit verschiedener Methoden korrekt messen. Konkret entwickeln wir eine MLP-basierte Methode, die rohe Sensordaten (z. B. vergangene Trajektorie, Geschwindigkeit usw.) als Eingabe verwendet und direkt die zukünftige Trajektorie des eigenen Fahrzeugs ausgibt, ohne jegliche Informationen aus der Wahrnehmung oder Vorhersage – wie beispielsweise Kamerabilder oder LiDAR-Daten – zu nutzen. Unser einfacher Ansatz erreicht auf dem nuScenes-Datensatz eine vergleichbare End-to-End-Planungsleistung im Vergleich zu herkömmlichen wahrnehmungsorientierten Methoden und reduziert den durchschnittlichen L2-Fehler um etwa 20 %. Gleichzeitig weisen die wahrnehmungsorientierten Methoden einen Vorteil hinsichtlich der Kollisionsrate auf. Wir führen zudem eine detaillierte Analyse durch und liefern neue Erkenntnisse zu den entscheidenden Faktoren für den Erfolg der Planungsaufgabe im nuScenes-Datensatz. Unsere Beobachtungen deuten außerdem darauf hin, dass wir die derzeitige offene Schleifen-Bewertungsschemata für End-to-End-autonome Fahrsysteme im nuScenes-Datensatz neu überdenken müssen. Der Quellcode ist unter https://github.com/E2E-AD/AD-MLP verfügbar.