Restauration de la vision dans des conditions météorologiques défavorables à l'aide de modèles de diffusion débruitants par patch

La restauration d'images dans des conditions météorologiques défavorables suscite un intérêt considérable pour diverses applications en vision par ordinateur. Les méthodes récentes et réussies s'appuient sur les progrès actuels dans la conception des architectures de réseaux neuronaux profonds (par exemple, avec les transformateurs visuels). Inspirés par les avancées récentes obtenues avec les modèles génératifs conditionnels de pointe, nous présentons un nouvel algorithme de restauration d'images basé sur des modèles de diffusion probabiliste débruitants et partitionnés en patches. Notre approche de modélisation de diffusion par patches permet une restauration d'images indépendante de la taille grâce à un processus de débruitage guidé utilisant des estimations lissées du bruit sur des patches chevauchants lors de l'inférence. Nous évaluons empiriquement notre modèle sur des jeux de données de référence pour le déneigement d'images, la dépluie et la débrumation combinés, ainsi que pour l'élimination des gouttes de pluie. Nous montrons que notre approche atteint des performances de pointe tant pour la restauration d'images spécifiques aux conditions météorologiques que pour la restauration multi-météo, et nous démontrons expérimentalement une forte généralisation aux images test réelles.