Inspirationnée par le fait que les humains utilisent des organes sensoriels divers pour percevoir le monde, des capteurs de différentes modalités sont déployés dans la conduite de bout en bout afin d'obtenir le contexte global de la scène 3D. Dans les travaux précédents, les entrées caméra et LiDAR étaient fusionnées à travers des transformateurs pour améliorer les performances de conduite. Ces entrées sont généralement interprétées à un niveau supérieur sous forme d'informations cartographiques pour aider aux tâches de navigation. Cependant, l'extraction d'informations utiles à partir de l'entrée cartographique complexe est difficile, car des informations redondantes peuvent induire en erreur l'agent et affecter négativement les performances de conduite. Nous proposons une nouvelle approche permettant d'extraire efficacement des caractéristiques à partir de cartes vectorielles Haute Définition (HD) et de les utiliser dans les tâches de conduite de bout en bout. De plus, nous concevons un nouvel expert pour encore améliorer les performances du modèle en tenant compte des règles multiples de circulation. Les résultats expérimentaux montrent que les deux améliorations proposées permettent à notre agent d'atteindre des performances supérieures par rapport aux autres méthodes.