Adaptation basée sur la diffusion pour la classification d’images dégradées inconnues

La classification d’images dégradées inconnues est essentielle dans les applications pratiques, car les modèles de dégradation d’images sont généralement inconnus. Les modèles basés sur la diffusion offrent des performances améliorées pour l’amélioration et la restauration d’images à partir d’images dégradées. Dans cette étude, nous utilisons le modèle basé sur la diffusion pour l’adaptation plutôt que pour la restauration. La restauration à partir d’une image dégradée vise à reconstruire une image propre sans dégradation, tandis que l’adaptation à partir d’une image dégradée consiste à transformer cette dernière vers un domaine d’images propres. Toutefois, les modèles de diffusion peinent à réaliser une adaptation efficace lorsqu’il s’agit de dégradations spécifiques attribuables à des modèles de dégradation inconnus. Pour remédier au problème des images propres adaptées de manière imparfaite par les modèles de diffusion, qui nuit à la classification d’images dégradées, nous proposons une nouvelle méthode, Diffusion-based Adaptation for Unknown Degraded images (DiffAUD), fondée sur des classificateurs robustes entraînés sur un petit nombre de dégradations connues. Notre méthode complète les modèles de diffusion et se généralise de manière cohérente sur différents types de dégradations, quelle que soit leur intensité. DiffAUD améliore les performances par rapport au modèle de diffusion de base et au classificateur propre sur le jeu de données ImageNet-C de 5,5 %, 5 % et 5 % respectivement, avec les architectures ResNet-50, Swin Transformer (Tiny) et ConvNeXt-Tiny. En outre, nous démontrons que l’entraînement des classificateurs à partir de dégradations connues apporte des gains significatifs en performance pour la classification d’images dégradées.