GRI: Allgemeine verstärkte Imitation und ihre Anwendung im visuellen autonomen Fahren

Tiefes Reinforcement Learning (DRL) hat sich als effektiv für mehrere komplexe Entscheidungsprobleme wie autonome Fahrzeuge und Robotik erwiesen. Dennoch ist DRL bekannt für seine hohe Stichprobenkomplexität und seinen Mangel an Stabilität. Vorwissen, zum Beispiel in Form von Expertendemonstrationen, ist oft verfügbar, aber es stellt eine Herausforderung dar, dieses Wissen zu nutzen, um diese Probleme zu mildern. In dieser Arbeit schlagen wir General Reinforced Imitation (GRI) vor, eine neuartige Methode, die Vorteile der Exploration und von Expertendaten kombiniert und einfach in jedem off-policy RL-Algorithmus implementiert werden kann. Wir machen eine vereinfachende Annahme: Expertendemonstrationen können als perfekte Daten betrachtet werden, deren zugrunde liegende Politik stets einen konstant hohen Reward erhält. Auf Basis dieser Annahme führt GRI den Begriff des Offline-Demonstrationsagenten ein. Dieser Agent sendet Expertendaten, die sowohl gleichzeitig als auch nicht unterscheidbar mit den Erfahrungen verarbeitet werden, die vom Online-RL-Explorationsagenten stammen. Wir zeigen, dass unser Ansatz erhebliche Verbesserungen bei visuell gestütztem autonomen Fahren in urbanen Umgebungen ermöglicht. Des Weiteren validieren wir die GRI-Methode anhand von kontinuierlichen Kontrollaufgaben im Mujoco-Simulator mit verschiedenen off-policy RL-Algorithmen. Unsere Methode erreichte den ersten Platz auf dem CARLA-Leaderboard und übertrifft World on Rails, den bisherigen Stand der Technik, um 17 %.