MADrive: Modellierung von Fahrzeugszenen mit erweitertem Gedächtnis

Neuere Fortschritte bei der Szenerie-Rekonstruktion haben dazu geführt, dass autonome Fahrzeugumgebungen (Autonomous Driving, AD) mittels 3D-Gauß-Splatting hochrealistisch modelliert werden können. Dennoch bleiben die daraus resultierenden Rekonstruktionen eng an den ursprünglichen Beobachtungen gebunden und haben Schwierigkeiten, photorealistische Synthesen von erheblich veränderten oder neuen Fahrzeugszenarien zu unterstützen. Diese Arbeit stellt MADrive vor, ein rekonstruktionsverstärkendes Framework mit erweiterter Speicherkapazität, das darauf abzielt, die Fähigkeiten bestehender Szenerie-Rekonstruktionsmethoden durch die Ersetzung beobachteter Fahrzeuge mit visuell ähnlichen 3D-Objekten aus einer groß angelegten externen Speicherbank zu erweitern. Insbesondere veröffentlichen wir MAD-Cars, eine sorgfältig zusammengestellte Datenbank von etwa 70.000 360°-Fahrzeugvideos, die im realen Straßenverkehr aufgenommen wurden, und präsentieren ein Retrieval-Modul, das die am ähnlichsten aussehenden Fahrzeuginstanzen in der Speicherbank findet, die entsprechenden 3D-Objekte aus den Videos rekonstruiert und sie durch Ausrichtung der Orientierung und Neubeleuchtung in die Ziel-Szene integriert. Die resultierenden Ersatzobjekte bieten vollständige multiview-Darstellungen der Fahrzeuge in der Szene und ermöglichen es, wie unsere Experimente zeigen, photorealistische Synthesen von erheblich veränderten Konfigurationen zu erstellen. Projektseite: https://yandex-research.github.io/madrive/