Amélioration de l'harmonie de l'image composite par un module d'attention spatialement séparé

La composition d'images est l'une des applications les plus importantes dans le traitement d'images. Cependant, l'apparence disharmonieuse entre la région assemblée et le fond dégrade la qualité de l'image. Ainsi, nous abordons le problème de l'Harmonisation d'Images : étant donné une image assemblée et le masque de la région assemblée, nous tentons d'harmoniser le « style » de la région collée avec le fond (région non assemblée). Les approches précédentes se sont concentrées sur l'apprentissage direct par le réseau neuronal. Dans cette étude, nous partons d'une observation empirique : les différences ne peuvent être trouvées que dans la région assemblée entre l'image assemblée et le résultat harmonisé, bien qu'elles partagent les mêmes informations sémantiques et l'apparence dans la région non assemblée. Par conséquent, afin d'apprendre les cartes de caractéristiques dans la région masquée et les autres régions séparément, nous proposons un nouveau module d'attention appelé Module d'Attention Spatialement Séparé (S2AM). De plus, nous concevons un nouveau cadre pour l'harmonisation d'images en insérant le S2AM dans les caractéristiques de niveau inférieur plus grossières de la structure Unet de deux manières différentes. Outre l'harmonisation d'images, nous faisons un grand pas vers l'harmonisation des images composites sans masque spécifique en nous appuyant sur cette observation préalable. Les expériences montrent que le S2AM proposé performe mieux que les autres modules d'attention de pointe dans notre tâche. De plus, nous démontrons les avantages de notre modèle par rapport aux autres méthodes d'harmonisation d'images de pointe à travers des critères multiples. Le code est disponible à https://github.com/vinthony/s2am