NightRain : Dépluie vidéo nocturne par suppression et correction adaptatives de la pluie

Les méthodes actuelles basées sur l'apprentissage profond pour le dépluie des vidéos de nuit s'appuient sur des données synthétiques en raison de l'absence de données réelles appariées. Cependant, les complexités du monde réel, notamment la présence d'effets lumineux et de zones à faible éclairage affectées par le bruit, créent des écarts importants entre les domaines, ce qui entrave la capacité des modèles formés sur des données synthétiques à supprimer correctement les traînées de pluie et entraîne une surexposition et des décalages de couleur. Motivés par ces problèmes, nous présentons NightRain, une nouvelle méthode de dépluie vidéo nocturne avec un dépluie adaptatif et une correction adaptative. Notre dépluie adaptatif utilise des vidéos pluvieuses non étiquetées pour permettre à notre modèle de dépluer des vidéos pluvieuses réelles, en particulier dans les régions affectées par des effets lumineux complexes. L'idée est de permettre à notre modèle d'obtenir des régions sans pluie en fonction des scores de confiance. Une fois que les régions sans pluie et leurs correspondantes dans notre entrée sont obtenues, nous disposons de données réelles appariées par région. Ces données appariées sont utilisées pour former notre modèle selon un cadre enseignant-étudiant, permettant au modèle d'apprendre itérativement depuis les régions moins difficiles jusqu'aux régions plus difficiles. Notre correction adaptative vise à corriger les erreurs dans les prédictions de notre modèle, telles que la surexposition et les décalages de couleur. L'idée est d'apprendre à partir de vidéos d'entraînement claires prises la nuit en se basant sur les différences ou la distance entre ces vidéos d'entrée et leurs prédictions correspondantes. Notre modèle apprend à partir de ces différences, obligeant ainsi notre modèle à corriger les erreurs. À travers une série d'expériences approfondies, notre méthode montre des performances exceptionnelles. Elle atteint un PSNR (Peak Signal-to-Noise Ratio) de 26,73 dB, surpassant considérablement les méthodes existantes pour le dépluie vidéo nocturne avec un avantage significatif de 13,7 %.