Complétion d'images avec des indices spectraux filtrés hétérogènes

La complétion d’images présentant de grandes régions manquantes de forme libre constitue l’une des tâches les plus complexes pour la communauté du vision par ordinateur. Bien que les chercheurs poursuivent des solutions améliorées, des défauts tels qu’un manque de prise en compte des motifs, des textures floues et des distorsions structurelles persistent de manière notable, laissant ainsi une marge d’amélioration. Pour surmonter ces défis, nous proposons un nouveau réseau de complétion d’images basé sur StyleGAN, nommé Spectral Hint GAN (SH-GAN), au sein duquel un module de traitement spectral soigneusement conçu, appelé Unité de Conseil Spectral (Spectral Hint Unit), est intégré. Nous introduisons également deux nouvelles stratégies de traitement spectral en 2D, respectivement le Filtrage Hétérogène et la Séparation Gaussienne, qui s’adaptent particulièrement bien aux modèles modernes d’apprentissage profond et pourraient être étendues à d’autres tâches. À travers des expérimentations exhaustives, nous démontrons que notre modèle atteint des scores FID de 3,4134 et 7,0277 sur les jeux de données de référence FFHQ et Places2, surpassant ainsi les méthodes antérieures et atteignant un nouveau record d’état de l’art. Nous validons également l’efficacité de notre architecture grâce à des études d’ablation, montrant que les défis mentionnés – notamment le manque de prise en compte des motifs, les textures floues et les distorsions structurelles – peuvent être significativement atténués. Le code source de notre travail sera rendu disponible à l’adresse suivante : https://github.com/SHI-Labs/SH-GAN.