GenAD: Generative End-to-End Autonomous Driving

Die direkte Erzeugung von Planungsergebnissen aus rohen Sensordaten stellt seit langem einen begehrten Ansatz für autonome Fahrsysteme dar und hat in letzter Zeit zunehmendes Interesse geweckt. Die meisten bestehenden end-to-end-Methoden zur autonomen Fahrt zerlegen dieses Problem in die Teilaspekte Wahrnehmung, Bewegungsvorhersage und Planung. Wir argumentieren jedoch, dass der herkömmliche schrittweise Datenfluss das gesamte Verhalten der Verkehrssituation nicht umfassend modellieren kann, beispielsweise die zukünftige Interaktion zwischen dem eigenen Fahrzeug (ego vehicle) und anderen Verkehrsteilnehmern sowie strukturelle Priorwissen über Trajektorien. In diesem Artikel untersuchen wir ein neues Paradigma für end-to-end-autonome Fahrt, bei dem der Schlüssel darin besteht, vorherzusagen, wie sich das eigene Fahrzeug und die Umgebung auf Basis vergangener Szenen entwickeln werden. Wir stellen GenAD vor, einen generativen Rahmen, der die autonome Fahrt als ein Problem der generativen Modellierung formuliert. Wir entwickeln einen instanzzentrierten Szenen-Tokenizer, der zunächst die Umgebungsszenen in kartenbewusste Instanz-Token transformiert. Anschließend nutzen wir einen variationalen Autoencoder, um die Verteilung zukünftiger Trajektorien in einem strukturellen latenten Raum zu lernen, um strukturelle Priorwissen zu modellieren. Darüber hinaus setzen wir ein zeitliches Modell ein, um die Bewegungen von Agenten und dem eigenen Fahrzeug im latenten Raum zu erfassen und somit effektivere zukünftige Trajektorien zu generieren. GenAD führt schließlich simultan Bewegungsvorhersage und Planung durch, indem es aus der gelernten strukturellen latenten Raumverteilung unter Bedingung der Instanz-Token sampelt und das gelernte zeitliche Modell nutzt, um zukünftige Szenarien zu generieren. Umfangreiche Experimente auf dem weit verbreiteten nuScenes-Benchmark zeigen, dass das vorgeschlagene GenAD eine state-of-the-art-Leistung bei visionzentrierten end-to-end-autonomen Fahrsystemen mit hoher Effizienz erreicht. Code: https://github.com/wzzheng/GenAD.