Kai Zeng Zhanqian Wu Kaixin Xiong Xiaobao Wei et al

Abstract

Neuere Fortschritte bei der Entwicklung von Fahrwelt-Modellen ermöglichen die steuerbare Generierung von hochwertigen RGB-Videos oder multimodalen Videos. Bisherige Ansätze konzentrieren sich hauptsächlich auf Metriken im Hinblick auf Generierungsqualität und Steuerbarkeit. Dabei werden jedoch häufig die Bewertungen nachgeschalteter Wahrnehmungsaufgaben vernachlässigt, die für die Leistungsfähigkeit autonomer Fahrzeuge \mathbf{wirklich entscheidend} sind. Typischerweise nutzen bestehende Methoden eine Trainingsstrategie, die zunächst auf synthetischen Daten vortrainingt und anschließend auf realen Daten feinabstimmt, wodurch sich die Anzahl der Epochen im Vergleich zur Baseline (nur reale Daten) verdoppelt. Wenn wir in der Baseline die Anzahl der Epochen verdoppeln, erweist sich der Vorteil synthetischer Daten als vernachlässigbar. Um den Nutzen synthetischer Daten umfassend zu demonstrieren, stellen wir Dream4Drive vor – einen neuartigen Framework zur Generierung synthetischer Daten, der speziell darauf abzielt, nachgeschaltete Wahrnehmungsaufgaben zu verbessern. Dream4Drive zerlegt zunächst das Eingabevideo in mehrere 3D-orientierte Leitkarten und rendern anschließend 3D-Assets auf diese Leitkarten. Abschließend wird das Fahrwelt-Modell feinabgestimmt, um bearbeitete, mehransichtige, photorealistische Videos zu erzeugen, die zur Ausbildung nachgeschalteter Wahrnehmungsmodelle genutzt werden können. Dream4Drive ermöglicht eine bisher ungekannte Flexibilität bei der großskaligen Generierung mehransichtiger Eckfall-Szenarien und steigert die Erkennung solcher Randfälle im Bereich autonomer Fahrt erheblich. Um zukünftige Forschung zu erleichtern, liefern wir zudem eine großskalige 3D-Asset-Datenbank namens DriveObj3D, die die typischen Kategorien aus Fahrszenarien abdeckt und vielfältige 3D-orientierte Video-Editierungen ermöglicht. Wir führen umfassende Experimente durch, die zeigen, dass Dream4Drive die Leistung nachgeschalteter Wahrnehmungsmodelle unter verschiedenen Trainingszyklen effektiv steigern kann. Projekt: $\href{this https URL}{this\ https\ URL}$