DVI: Tiefenbasierte Video-Inpainting für autonome Fahrzeuge

Um klare Street-View-Darstellungen und foto-realistische Simulationen im Bereich autonomes Fahren zu erzielen, präsentieren wir einen automatischen Video-Inpainting-Algorithmus, der Verkehrsteilnehmer aus Videos entfernen und fehlende Regionen mit Hilfe von Tiefeninformationen bzw. Punktwolken rekonstruieren kann. Durch die Erstellung einer dichten 3D-Karte aus zusammengesetzten Punktwolken werden Frames innerhalb eines Videos geometrisch über diese gemeinsame 3D-Karte korreliert. Um einen Ziel-Inpainting-Bereich in einem Frame zu füllen, lässt sich direkt ein Transformieren von Pixeln aus anderen Frames in den aktuellen Frame mit korrekter Okklusion durchführen. Darüber hinaus ermöglicht die Fusion mehrerer Videos mittels 3D-Punktwolken-Registrierung, einen Zielvideo mit mehreren Quellvideos zu inpainten. Der Ansatz zielt darauf ab, das Problem langer Okklusionen zu lösen, bei denen ein Bereich im gesamten Video nie sichtbar war. Soweit uns bekannt ist, sind wir die Ersten, die mehrere Videos für den Video-Inpainting-Prozess fusionieren. Um die Wirksamkeit unseres Ansatzes zu validieren, haben wir eine große Inpainting-Datensammlung in einer realen urbanen Straßenumgebung aufgebaut, die synchronisierte Bilder und Lidar-Daten enthält und zahlreiche herausfordernde Szenen umfasst, beispielsweise längere Okklusionen. Die experimentellen Ergebnisse zeigen, dass der vorgeschlagene Ansatz alle state-of-the-art-Methoden in allen Bewertungskriterien übertrifft, wobei insbesondere der RMSE (Root Mean Squared Error) um etwa 13 % reduziert wurde.