DiffCR : Un cadre de diffusion conditionnelle rapide pour l’élimination des nuages dans les images satellites optiques

Les images satellites optiques constituent une source de données cruciale ; cependant, la couverture nuageuse compromet souvent leur qualité, entravant les applications et l'analyse des images. Par conséquent, l'élimination efficace des nuages des images satellites optiques est devenue une direction de recherche importante. Bien que les récentes avancées en matière d'élimination des nuages s'appuient principalement sur les réseaux génératifs adverses (GAN), qui peuvent produire une qualité d'image sous-optimale, les modèles de diffusion ont montré un succès remarquable dans diverses tâches de génération d'images, démontrant leur potentiel pour relever ce défi. Cet article présente un nouveau cadre appelé DiffCR, qui utilise la diffusion guidée conditionnelle avec des réseaux convolutifs profonds pour une élimination de nuages à haute performance pour les images satellites optiques. Plus précisément, nous introduisons un encodeur dissocié pour l'extraction de caractéristiques d'images conditionnelles, fournissant une représentation robuste des couleurs afin d'assurer une forte similarité entre les informations d'apparence de l'entrée conditionnelle et celles de la sortie synthétisée. De plus, nous proposons un bloc de fusion temporelle et conditionnelle novateur et efficace au sein du modèle d'élimination des nuages pour simuler précisément la correspondance entre l'apparence dans l'image conditionnelle et celle dans l'image cible à un faible coût computationnel. Des évaluations expérimentales approfondies sur deux ensembles de données de référence couramment utilisés montrent que DiffCR atteint constamment des performances d'état de l'art sur tous les métriques, avec des complexités paramétriques et computationnelles ne représentant respectivement que 5,1 % et 5,4 % de celles des méthodes précédentes les plus performantes. Le code source, les modèles pré-entraînés et tous les résultats expérimentaux seront mis à disposition publiquement sur https://github.com/XavierJiezou/DiffCR à la suite de l'acceptation de cet article.