Suppression des gouttes d'eau sur vidéo par fusion spatio-temporelle dans les scènes de conduite

Les gouttes d'eau sur les pare-brise pendant la conduite peuvent causer des obstructions visuelles sévères, ce qui peut entraîner des accidents de voiture. Par ailleurs, ces gouttes peuvent également dégrader les performances d'un système de vision par ordinateur dans le cadre de la conduite autonome. Pour résoudre ces problèmes, nous proposons un cadre basé sur l'attention qui fusionne les représentations spatio-temporelles provenant de plusieurs images pour restaurer les informations visuelles masquées par les gouttes d'eau. En raison du manque de données d'entraînement pour la suppression des gouttes d'eau dans les vidéos, nous proposons un grand ensemble de données synthétiques avec des gouttes d'eau simulées dans des scènes de conduite complexes par temps de pluie. Pour améliorer la généralité de notre méthode proposée, nous adoptons une stratégie d'entraînement inter-modalités qui combine des vidéos synthétiques et des images du monde réel. De nombreuses expériences montrent que notre méthode proposée peut bien se généraliser et atteindre les meilleures performances en matière de suppression des gouttes d'eau dans des scènes de conduite complexes du monde réel.