Video-Wassertröpfchen-Entfernung durch räumlich-zeitliche Fusion in Fahrzeugszenen

Wassertropfen auf Windschutzscheiben während der Fahrt können erhebliche visuelle Beeinträchtigungen verursachen, die zu Verkehrsunfällen führen können. Gleichzeitig können Wassertropfen auch die Leistung von Computer-Vision-Systemen im autonomen Fahren verschlechtern. Um diese Probleme anzugehen, schlagen wir einen aufmerksamkeitsbasierten Rahmen vor, der räumlich-zeitliche Darstellungen aus mehreren Bildern fusioniert, um durch Wassertropfen verdeckte visuelle Informationen wiederherzustellen. Aufgrund des Mangels an Trainingsdaten für die Entfernung von Wassertropfen in Videos haben wir ein groß angelegtes synthetisches Datenset entwickelt, das simulierte Wassertropfen in komplexen Fahrzeugsszenarien an regnerischen Tagen enthält. Um die Allgemeingültigkeit unserer vorgeschlagenen Methode zu verbessern, verwenden wir eine cross-modale Trainingsstrategie, die synthetische Videos und realweltliche Bilder kombiniert. Ausführliche Experimente zeigen, dass unsere vorgeschlagene Methode sich gut generalisiert und die beste Leistung bei der Entfernung von Wassertropfen in komplexen realweltlichen Fahrzeugsszenarien erzielt.