ST-P3: End-to-end visuelle autonome Fahrt durch räumlich-zeitliche Merkmalslernen

Viele bestehende Paradigmen des autonomen Fahrens beinhalten eine mehrstufige, diskrete Pipeline von Aufgaben. Um die Steuersignale besser vorhersagen und die Benutzersicherheit zu erhöhen, ist ein End-to-End-Ansatz wünschenswert, der von der gemeinsamen räumlich-zeitlichen Merkmalslernen profitiert. Obwohl es einige pionierhafte Arbeiten zur LiDAR-basierten Eingabe oder impliziten Design gibt, formulieren wir in diesem Papier das Problem in einem interpretierbaren bildbasierten Setting. Insbesondere schlagen wir ein räumlich-zeitliches Merkmalslernschema vor, das eine Reihe repräsentativerer Merkmale für Wahrnehmungsaufgaben, Vorhersage und Planung gleichzeitig erzeugt; dieses Schema wird als ST-P3 bezeichnet. Speziell wurde eine egozentrisch ausgerichtete Akkumulationstechnik vorgeschlagen, um geometrische Informationen im 3D-Raum vor der Transformation in den Vogelperspektivischen Ansicht zu erhalten; ein zweipfadiges Modell wurde entwickelt, um vergangene Bewegungsänderungen bei zukünftigen Vorhersagen zu berücksichtigen; eine zeitbasierte Verfeinerungseinheit wurde eingeführt, um die Erkennung bildbasierter Elemente für die Planung zu verbessern. Nach unserem besten Wissen sind wir die ersten, die jede Komponente eines interpretierbaren End-to-End-bildbasierten Systems für autonomes Fahren systematisch untersuchen. Wir evaluieren unseren Ansatz anhand des offenen nuScenes-Datensatzes sowie der geschlossenen CARLA-Simulation mit den bisher besten Methoden. Die Ergebnisse zeigen die Effektivität unserer Methode. Der Quellcode, das Modell und Details zum Protokoll sind öffentlich zugänglich unter https://github.com/OpenPerceptionX/ST-P3.