Restauration d’image zéro-shot à l’aide d’un modèle de diffusion de suppression de bruit dans l’espace nul

La plupart des modèles existants de restauration d’images (IR) sont spécifiques à une tâche donnée et ne peuvent pas être généralisés à différents opérateurs de dégradation. Dans ce travail, nous proposons le Denoising Diffusion Null-Space Model (DDNM), un cadre novateur à zéro apprentissage (zero-shot) pour des problèmes linéaires arbitraires de restauration d’images, incluant mais sans s’y limiter la super-résolution, la colorisation, l’imputation, la détection par compression et le flou. Le DDNM nécessite uniquement un modèle de diffusion pré-entraîné disponible commercialement comme priorité générative, sans entraînement supplémentaire ni modification du réseau. En ne révisant que les composantes du sous-espace nul durant le processus de diffusion inverse, nous obtenons des résultats variés respectant à la fois la cohérence des données et la réalisme. Nous proposons également une version améliorée et plus robuste, appelée DDNM+, permettant de traiter la restauration en présence de bruit et d’améliorer la qualité de restauration sur des tâches difficiles. Nos expérimentations sur plusieurs tâches de restauration d’images montrent que le DDNM surpasse les autres méthodes d’état de l’art à zéro apprentissage. Nous démontrons également que le DDNM+ est capable de résoudre des applications réelles complexes, par exemple la restauration de photographies anciennes.