TransFuser : Imitation avec fusion de capteurs basée sur les Transformers pour la conduite autonome

Comment devrions-nous intégrer les représentations provenant de capteurs complémentaires pour la conduite autonome ? La fusion basée sur la géométrie a montré son potentiel pour la perception (par exemple, détection d'objets, prévision du mouvement). Cependant, dans le contexte de la conduite autonome de bout en bout, nous constatons que l'apprentissage par imitation basé sur les méthodes actuelles de fusion de capteurs sous-performe dans des scénarios de conduite complexes avec une forte densité d'agents dynamiques. Par conséquent, nous proposons TransFuser, un mécanisme permettant d'intégrer les représentations d'images et de LiDAR à l'aide de l'auto-attention. Notre approche utilise des modules de transformateur à plusieurs résolutions pour fusionner des cartes de caractéristiques en vue perspective et en vue aérienne. Nous validons expérimentalement son efficacité sur un nouveau banc d'essai difficile comprenant des itinéraires longs et un trafic dense, ainsi que sur le classement officiel du simulateur urbain CARLA. Au moment de la soumission, TransFuser surpassait toutes les travaux précédents sur le classement CARLA en termes de score de conduite avec une marge considérable. Comparativement à la fusion basée sur la géométrie, TransFuser réduit les collisions moyennes par kilomètre de 48 %.