Fahren lernen in einer Welt auf Schienen

Wir lernen eine interaktive, visionbasierte Fahrpolitik aus vorher aufgezeichneten Fahrprotokollen durch einen modellbasierten Ansatz. Ein Vorwärtsmodell der Welt überwacht eine Fahrpolitik, die das Ergebnis jeder potentiellen Fahrtrajektorie voraussagt. Um das Lernen aus vorher aufgezeichneten Protokollen zu unterstützen, gehen wir davon aus, dass die Welt „auf Schienen“ ist, was bedeutet, weder der Agent noch seine Aktionen beeinflussen die Umgebung. Diese Annahme vereinfacht das Lernproblem erheblich und faktorisiert die Dynamik in ein nichtreaktives Weltmodell und ein niedrigdimensionales und kompaktes Vorwärtsmodell des Ego-Fahrzeugs. Unser Ansatz berechnet Aktionswerte für jede Trainings-Trajektorie unter Verwendung einer tabellarischen dynamischen Programmierung zur Bewertung der Bellman-Gleichungen; diese Aktionswerte überwachen ihrerseits die endgültige visionbasierte Fahrpolitik. Trotz der Annahme einer Welt „auf Schienen“ agiert die endgültige Fahrpolitik gut in einer dynamischen und reaktiven Welt. Zum Zeitpunkt des Schreibens rangiert unsere Methode an erster Stelle auf dem CARLA-Leaderboard und erreicht dabei einen 25 % höheren Fahren-Score, während sie gleichzeitig 40-mal weniger Daten verwendet. Unsere Methode ist auch um ein Vielfaches dateneffizienter als state-of-the-art modellfreie Reinforcement-Learning-Techniken bei Navigationsaufgaben im ProcGen-Benchmark.