Bench2Drive : Vers une évaluation multicritère des systèmes de conduite autonome en boucle fermée

Dans une ère marquée par l'évolution rapide des modèles de base, les technologies de conduite autonome s'approchent d'un seuil transformateur où la conduite autonome de bout en bout (E2E-AD) émerge grâce à son potentiel d'évolutivité dans une approche axée sur les données. Cependant, les méthodes E2E-AD existantes sont principalement évaluées selon un protocole en boucle ouverte avec des métriques telles que les erreurs L2 et le taux de collision (par exemple, dans nuScenes), ce qui ne permet pas de refléter pleinement les performances de conduite des algorithmes, comme cela a été récemment reconnu dans la communauté. Pour les méthodes E2E-AD évaluées selon un protocole en boucle fermée, elles sont testées sur des parcours fixes (par exemple, Town05Long et Longest6 dans CARLA) avec des scores de conduite comme métriques, connus pour leur forte variance due à la fonction métrique non lissée et au grand aléa sur les longues routes. De plus, ces méthodes collectent généralement leurs propres données pour l'entraînement, ce qui rend impossible une comparaison équitable au niveau des algorithmes.Pour répondre au besoin crucial d'environnements de test complets, réalistes et équitables pour la Conduite Autonome Complète (FSD), nous présentons Bench2Drive, le premier benchmark destiné à évaluer plusieurs capacités des systèmes E2E-AD dans un cadre en boucle fermée. Les données d'entraînement officielles de Bench2Drive comprennent 2 millions de cadres entièrement annotés, collectés à partir de 13 638 courts clips répartis uniformément sous 44 scénarios interactifs (comme le changement brusque de voie, le dépassement, le détour, etc.), 23 conditions météorologiques (ensoleillé, brouillard, pluie, etc.) et 12 villes (urbaines, rurales, universitaires, etc.) dans CARLA v2. Son protocole d'évaluation exige que les modèles E2E-AD passent 44 scénarios interactifs sous différentes localisations et conditions météorologiques totalisant 220 parcours, offrant ainsi une évaluation complète et dissociée de leurs capacités de conduite dans diverses situations. Nous avons mis en œuvre des modèles E2E-AD d'avant-garde et les avons évalués dans Bench2Drive, fournissant des perspectives sur l'état actuel et les orientations futures.