DriveTransformer : Transformer unifié pour une conduite autonome bout-en-bout évolutif

Le pilotage autonome bout-à-bout (E2E-AD) est devenu une tendance émergente dans le domaine du pilotage autonome, promettant une approche data-driven et évolutif pour la conception de systèmes. Toutefois, les méthodes E2E-AD existantes adoptent généralement un paradigme séquentiel de perception-prédiction-planification, ce qui entraîne des erreurs cumulatives et une instabilité d'apprentissage. L'ordre manuel des tâches limite également la capacité du système à exploiter les synergies entre celles-ci (par exemple, une perception consciente de la planification ou une prédiction interactive fondée sur la théorie des jeux et la planification). En outre, la représentation dense BEV adoptée par les méthodes existantes pose des défis computationnels pour la perception à longue portée et la fusion temporelle à long terme. Pour relever ces défis, nous proposons DriveTransformer, un cadre E2E-AD simplifié facilitant l'évolutivité, caractérisé par trois fonctionnalités clés : parallélisme des tâches (toutes les requêtes d'agents, de cartes et de planification interagissent directement entre elles à chaque bloc), représentation creuse (les requêtes de tâche interagissent directement avec les caractéristiques brutes des capteurs) et traitement en flux (les requêtes de tâche sont stockées et transmises comme information historique). En conséquence, le nouveau cadre se compose de trois opérations unifiées : attention auto-tâche, attention croisée capteur et attention croisée temporelle, réduisant significativement la complexité du système et améliorant la stabilité de l'apprentissage. DriveTransformer atteint des performances de pointe sur les benchmarks simulés en boucle fermée Bench2Drive et les benchmarks réels en boucle ouverte nuScenes, tout en garantissant un débit élevé en FPS.