Réévaluer l’évaluation en boucle ouverte de la conduite autonome end-to-end sur nuScenes

Les systèmes modernes de conduite autonome sont généralement divisés en trois tâches principales : la perception, la prédiction et la planification. La tâche de planification consiste à prédire la trajectoire du véhicule principal (ego vehicle) en fonction à la fois de ses intentions internes et de l’environnement extérieur, puis à piloter le véhicule en conséquence. La plupart des travaux existants évaluent leurs performances sur le jeu de données nuScenes à l’aide de deux métriques : l’erreur L2 entre les trajectoires prédites et les trajectoires réelles (ground truth), ainsi que le taux de collision. Dans cet article, nous réévaluons ces métriques d’évaluation couramment utilisées et examinons si elles mesurent réellement avec précision l’efficacité relative des différentes méthodes. Plus précisément, nous proposons une méthode basée sur un réseau de neurones à propagation directe (MLP) qui prend en entrée des données brutes provenant des capteurs (par exemple, la trajectoire passée, la vitesse, etc.) et prédit directement la trajectoire future du véhicule principal, sans recourir à aucune information de perception ou de prédiction telle que des images de caméra ou des données LiDAR. Cette méthode simple atteint des performances de planification end-to-end comparables à celles des méthodes basées sur la perception sur le jeu de données nuScenes, tout en réduisant l’erreur L2 moyenne d’environ 20 %. Toutefois, les méthodes basées sur la perception conservent un avantage en termes de taux de collision. Nous menons une analyse approfondie et apportons de nouvelles perspectives sur les facteurs critiques au succès de la tâche de planification sur le jeu de données nuScenes. Nos observations suggèrent également qu’il convient de repenser le schéma d’évaluation actuel à boucle ouverte pour les systèmes autonomes end-to-end sur nuScenes. Le code est disponible à l’adresse suivante : https://github.com/E2E-AD/AD-MLP.