MADrive : Modélisation des Scènes de Conduite Augmentée par la Mémoire

Les récentes avancées en reconstruction de scène ont permis d'atteindre une modélisation hautement réaliste des environnements de conduite autonome (AD) à l'aide de splattages gaussiens 3D. Cependant, les reconstructions obtenues restent étroitement liées aux observations originales et peinent à supporter la synthèse photoréaliste de scénarios de conduite considérablement modifiés ou inédits. Cette étude introduit MADrive, un cadre de reconstruction augmenté par la mémoire conçu pour étendre les capacités des méthodes actuelles de reconstruction de scène en remplaçant les véhicules observés par des actifs 3D visuellement similaires récupérés dans une banque mémoire externe à grande échelle. Plus précisément, nous mettons à disposition MAD-Cars, un ensemble de données soigneusement sélectionné comprenant environ 70 000 vidéos automobiles à 360° capturées sur le terrain, ainsi qu'un module de recherche qui identifie les instances de voitures les plus similaires dans la banque mémoire, reconstruit les actifs 3D correspondants à partir des vidéos et les intègre dans la scène cible grâce à l'alignement d'orientation et au re-lumière. Les remplacements résultants fournissent des représentations multivues complètes des véhicules dans la scène, permettant la synthèse photoréaliste de configurations substantiellement modifiées, comme le montrent nos expériences. Page du projet : https://yandex-research.github.io/madrive/