Distillation contrastive adaptative dans le domaine des caractéristiques pour une super-résolution d'image unique efficace

Récemment, les méthodes SISR basées sur les réseaux CNN présentent un grand nombre de paramètres et un coût computationnel élevé afin d’atteindre de meilleures performances, ce qui limite leur applicabilité sur des dispositifs à ressources limitées tels que les mobiles. Parmi les approches visant à améliorer l’efficacité du réseau, la Distillation de Connaissance (KD), qui consiste à transférer les connaissances utiles du modèle enseignant vers un modèle étudiant, fait actuellement l’objet de nombreuses études. Plus récemment, la KD appliquée au SISR utilise la Distillation de Features (FD) afin de minimiser la perte de distance euclidienne entre les cartes de caractéristiques des réseaux enseignant et étudiant. Toutefois, cette approche ne tient pas suffisamment compte de la manière d’assurer un transfert efficace et significatif des connaissances du modèle enseignant, afin d’améliorer les performances du modèle étudiant sous des contraintes données sur la capacité du réseau. Dans cet article, nous proposons une méthode de distillation contrastive adaptative dans le domaine des caractéristiques (FACD) pour entraîner de manière efficace des réseaux légers de SISR. Nous mettons en évidence les limites des méthodes FD existantes utilisant la perte de distance euclidienne, et proposons une perte contrastive dans le domaine des caractéristiques, permettant au modèle étudiant d’extraire des informations plus riches à partir de la représentation du modèle enseignant. Par ailleurs, nous introduisons une distillation adaptative qui applique de manière sélective le transfert de connaissance en fonction des conditions des patches d’entraînement. Les résultats expérimentaux montrent que les réseaux étudiants EDSR et RCAN, entraînés avec la méthode FACD proposée, améliorent non seulement les performances en PSNR sur l’ensemble des jeux de données et des échelles du benchmark, mais aussi la qualité visuelle subjective par rapport aux approches FD classiques.