Jiawei Wang Haowei Sun Xintao Yan Shuo Feng Jun Gao Henry X. Liu

Résumé

Le déploiement sûr et évolutif de conduites autonomes bout-en-bout (end-to-end, E2E) nécessite des données étendues et diversifiées, en particulier des événements critiques pour la sécurité. Les données existantes proviennent principalement de simulateurs présentant un écart significatif entre simulation et réalité (sim-to-real), ou sont collectées lors d’essais sur route, qui sont coûteux et potentiellement dangereux. Ce papier présente TeraSim-World, un pipeline automatisé permettant de synthétiser des données réalistes et géographiquement diversifiées, critiques pour la sécurité, destinées à la conduite autonome E2E à tout endroit du monde. À partir d’un emplacement arbitraire, TeraSim-World récupère des cartes réelles et les données de demande de trafic à partir de sources de données géospatiales. Il simule ensuite les comportements des agents à partir de jeux de données de conduite naturelle, et orchestre diverses situations extrêmes afin de générer des cas limites (corner cases). En s’appuyant sur les vues de rue du même lieu, il réalise une restitution sensorielle photoréaliste et ancrée géographiquement grâce au modèle avancé de génération vidéo Cosmos-Drive. En reliant la simulation des agents à celle des capteurs, TeraSim-World offre un cadre évolutif et essentiel pour la synthèse de données, permettant l’entraînement et l’évaluation des systèmes de conduite autonome E2E.