Denken Sie zweimal nach, bevor Sie fahren: Auf dem Weg zu skalierbaren Dekodern für das end-to-end autonome Fahren

Die end-to-end-autonome Fahrt hat in den letzten Jahren beachtliche Fortschritte gemacht.Bestehende Methoden setzen in der Regel das entkoppelte Encoder-Decoder-Paradigma ein, bei demder Encoder verborgene Merkmale aus rohen Sensordaten extrahiert und der Decoderdie zukünftigen Trajektorien oder Aktionen des Ego-Fahrzeugs ausgibt. In diesem Paradigmahat der Encoder keinen Zugriff auf das geplante Verhalten des Ego-Agents, wodurch die Aufgabe,sicherheitskritische Bereiche aus dem umfangreichen Rezeptivfeld zu identifizieren und über zukünftige Situationen zu inferieren, dem Decoder überlassen wird.Schlimmer noch, besteht der Decoder in der Regel aus mehreren einfachen Mehrlagennetzen (Multi-Layer Perceptrons, MLP) oder GRUs, während der Encoder sorgfältig gestaltet ist (z.B. eine Kombination von schweren ResNets oder Transformatoren). Eine solche ungleichmäßige Ressourcenaufteilung behindert den Lernprozess.In dieser Arbeit streben wir an, das oben genannte Problem durch zwei Prinzipien zu lindern:(1) die volle Nutzung der Kapazität des Encoders;(2) die Erhöhung der Kapazität des Decoders.Konkret führen wir zunächst eine grobkörnige Vorhersage für die zukünftige Position und Aktion basierend auf den Encoder-Merkmalsdaten durch. Anschließend wird unter Berücksichtigung der Position und Aktion die zukünftige Szene imaginiert, um die Folgen eines entsprechenden Fahrverhaltens zu prüfen. Wir extrahieren auch die Encoder-Merkmalsdaten in der Umgebung der vorhergesagten Koordinate, um detaillierte Informationen über den sicherheitskritischen Bereich zu erhalten. Schließlich verfeinern wir die grobkörnige Position und Aktion durch die Vorhersage ihres Abstands zur Ground-Truth. Das obige Verfeinerungsmodul kann kaskadenartig gestapelt werden, was die Kapazität des Decoders mit räumlich-zeitlichen Vorwissen über die bedingte Zukunft erweitert. Wir führen Experimente im CARLA-Simulator durch und erreichen Spitzenleistungen in geschlossenen Benchmarktests. Ausführliche Abstraktionsstudien zeigen die Effektivität jedes vorgeschlagenen Moduls nach.