ST-P3 : Conduite autonome basée sur la vision de bout en bout par apprentissage des caractéristiques spatio-temporelles

De nombreux paradigmes de conduite autonome existants impliquent une pipeline discrète à plusieurs étapes de tâches. Pour améliorer la prédiction des signaux de contrôle et renforcer la sécurité des utilisateurs, une approche bout à bout qui tire parti de l'apprentissage conjoint des caractéristiques spatiales et temporelles est souhaitable. Bien qu'il existe quelques travaux pionniers sur les entrées basées sur le LiDAR ou les conceptions implicites, dans cet article, nous formulons le problème dans un cadre basé sur la vision interprétable. Plus précisément, nous proposons un schéma d'apprentissage des caractéristiques spatiales et temporelles visant à générer un ensemble de caractéristiques plus représentatives pour les tâches de perception, prédiction et planification simultanément, appelé ST-P3. Spécifiquement, une technique d'accumulation alignée égocentrique est proposée pour préserver les informations géométriques dans l'espace 3D avant la transformation en vue d'oiseau pour la perception ; un modèle à double voie est conçu pour prendre en compte les variations du mouvement passées pour la prédiction future ; une unité de raffinement basée sur le temps est introduite pour compenser la reconnaissance des éléments basés sur la vision pour la planification.À notre connaissance, nous sommes les premiers à investiguer systématiquement chaque partie d'un système de conduite autonome bout à bout basé sur la vision interprétable. Nous comparons notre approche aux méthodes précédentes de pointe sur le jeu de données nuScenes en boucle ouverte ainsi que sur la simulation CARLA en boucle fermée. Les résultats montrent l'efficacité de notre méthode.Le code source, les détails du modèle et du protocole sont rendus publiquement disponibles à l'adresse suivante : https://github.com/OpenPerceptionX/ST-P3.