Apprentissage à partir de l’histoire : apprentissage contrastif de modèles sans tenir compte de la tâche pour la restauration d’images

L’apprentissage contrastif s’est imposé comme un paradigme dominant pour les tâches de vision haute niveau. En introduisant des exemples négatifs appropriés, il a également été exploité pour des tâches de vision basse niveau afin d’obtenir un espace d’optimisation compact, adapté à la nature mal posée de ces dernières. Toutefois, les méthodes existantes reposent sur des exemples négatifs prédéfinis manuellement et spécifiques à une tâche, ce qui entraîne souvent des biais fortement liés au contexte de la tâche. Pour relever ce défi, notre article présente une méthode innovante baptisée « apprentissage à partir de l’historique », qui génère dynamiquement des exemples négatifs à partir du modèle cible lui-même. Notre approche, nommée Model Contrastive Learning for Image Restoration (MCLIR), réutilise les modèles latents comme modèles négatifs, assurant ainsi une compatibilité avec diverses tâches de restauration d’image. Nous proposons une fonction de perte négative guidée par un auto-prérequis (Self-Prior guided Negative loss, SPN) pour la mettre en œuvre. Cette approche améliore significativement les modèles existants lorsqu’ils sont réentraînés selon le nouveau paradigme contrastif. Les résultats montrent des améliorations marquées dans la restauration d’image sur plusieurs tâches et architectures. Par exemple, les modèles réentraînés avec SPN surpassent respectivement FFANet et DehazeFormer de 3,41 dB et 0,57 dB sur le jeu de données RESIDE indoor pour la débrume d’image. De même, ils atteignent des améliorations notables de 0,47 dB sur SPA-Data pour la déraining d’image et de 0,12 dB sur Manga109 pour une super-résolution à facteur 4 par rapport à SwinIR léger. Le code source et les modèles réentraînés sont disponibles à l’adresse suivante : https://github.com/Aitical/MCLIR.