Résolution d'image à style flexible par super-résolution conditionnelle

Des études récentes ont considérablement amélioré les performances de la super-résolution à image unique (SR) en s’appuyant sur des réseaux de neurones convolutifs (CNN). Bien qu’il puisse exister de nombreuses solutions à haute résolution (HR) pour une même entrée, la plupart des méthodes basées sur les CNN actuelles ne cherchent pas à explorer des solutions alternatives lors de l’inférence. Une approche classique pour obtenir des résultats SR alternatifs consiste à entraîner plusieurs modèles SR avec des poids de perte différents, puis à combiner leurs sorties. À la place d’utiliser plusieurs modèles, nous proposons une méthode plus efficace pour entraîner un seul modèle SR ajustable sur différentes combinaisons de pertes, en exploitant le apprentissage multi-tâches. Plus précisément, nous optimisons un modèle SR avec un objectif conditionnel pendant l’entraînement, où cet objectif est une somme pondérée de plusieurs pertes perceptuelles aux différents niveaux de caractéristiques. Les poids varient en fonction de conditions données, et l’ensemble de ces poids est défini comme un contrôleur de style. Nous introduisons également une architecture adaptée à ce schéma d’entraînement, basée sur le bloc dense résiduel-en-résiduel doté de couches de transformation de caractéristiques spatiales. Lors de l’inférence, notre modèle entraîné peut générer des sorties localement différentes en fonction de la carte de contrôle de style. Des expériences étendues montrent que le modèle SR proposé produit diverses reconstructions souhaitables sans artefacts, tout en atteignant des performances quantitatives comparables aux méthodes de pointe en super-résolution.