Régularisation contrastive curriculaire pour une débroussaillement d'image unique conscient de la physique

Étant donné la nature mal posée du problème, une régularisation contrastive a été proposée pour le dégommage d’image unique, introduisant des informations issues d’images négatives comme borne inférieure. Toutefois, les échantillons contrastifs sont non consensuels, car les images négatives sont généralement éloignées de l’image claire (c’est-à-dire positive), laissant ainsi l’espace de solution encore insuffisamment contraint. En outre, l’interprétabilité des modèles de dégommage profond reste peu explorée en lien avec la physique du processus de brouillard. Dans cet article, nous proposons une nouvelle régularisation contrastive curriculaire, ciblant un espace contrastif consensuel au lieu d’un espace non consensuel. Nos images négatives, offrant des contraintes de borne inférieure améliorées, peuvent être constituées de : 1) l’image trouble elle-même, et 2) les restaurations correspondantes obtenues par d’autres méthodes existantes. Par ailleurs, en raison des différences de similarité entre les embeddings de l’image claire et ceux des images négatives, le degré de difficulté d’apprentissage des différents composants est intrinsèquement déséquilibré. Pour surmonter ce problème, nous avons conçu une stratégie d’apprentissage curriculaire afin de réajuster dynamiquement l’importance relative des différentes images négatives. En outre, afin d’améliorer l’interprétabilité dans l’espace des caractéristiques, nous avons conçu une unité à deux branches consciente de la physique, fondée sur le modèle de diffusion atmosphérique. Grâce à cette unité ainsi qu’à la régularisation contrastive curriculaire, nous avons établi notre réseau de dégommage, nommé C2PNet. Des expériences étendues montrent que notre C2PNet surpasser significativement les méthodes de pointe, avec des augmentations extrêmes de PSNR de 3,94 dB et 1,50 dB respectivement sur les jeux de données SOTS-indoor et SOTS-outdoor.