Perte de fréquence focale pour la reconstruction et la synthèse d’images

La reconstruction et la synthèse d’images ont connu des progrès remarquables grâce au développement des modèles génératifs. Néanmoins, des écarts peuvent encore exister entre les images réelles et les images générées, en particulier dans le domaine fréquentiel. Dans cette étude, nous montrons qu’en réduisant ces écarts dans le domaine fréquentiel, il est possible d’améliorer davantage la qualité de la reconstruction et de la synthèse d’images. Nous proposons une nouvelle fonction de perte focalisée en fréquence, qui permet au modèle de s’adapter en se concentrant de manière dynamique sur les composantes fréquentielles difficiles à générer, tout en atténuant l’impact des composantes faciles. Cette fonction objective s’ajoute de manière complémentaire aux pertes spatiales existantes, offrant une résistance efficace à la perte d’informations fréquentielles importantes, souvent due au biais inhérent des réseaux de neurones. Nous démontrons la polyvalence et l’efficacité de cette perte focalisée en fréquence pour améliorer des modèles populaires tels que VAE, pix2pix et SPADE, tant en termes de qualité perceptive que de performance quantitative. Nous illustrons également son potentiel sur StyleGAN2.