Harmonisation d'images avec Transformer

L’harmonisation d’images, dont l’objectif est de rendre les images composites plus réalistes, constitue une tâche importante mais complexe. L’image composite, obtenue en combinant un premier plan issu d’une image avec un arrière-plan provenant d’une autre image, souffre inévitablement d’un défaut d’harmonie visuelle dû aux conditions d’acquisition différentes, notamment en ce qui concerne l’éclairage. Les solutions actuelles s’appuient principalement sur une architecture encodeur-décodeur basée sur des réseaux de neurones convolutifs (CNN) afin de capturer le contexte des images composites, dans le but de comprendre l’apparence du voisinage de l’arrière-plan proche du premier plan. Dans ce travail, nous proposons de résoudre le problème d’harmonisation d’images à l’aide d’un Transformer, en exploitant sa capacité remarquable à modéliser les dépendances à longue portée dans le contexte, afin d’ajuster l’éclairage du premier plan pour qu’il soit compatible avec celui de l’arrière-plan, tout en préservant la structure et le sens. Nous présentons la conception de nos architectures de Transformer pour l’harmonisation, avec et sans désentrelacement, ainsi que des expérimentations approfondies et une étude d’ablation, démontrant ainsi le pouvoir du Transformer et explorant son potentiel dans le domaine du vision par ordinateur. Notre méthode atteint des performances de pointe sur les tâches d’harmonisation d’images ainsi que d’imputation et d’amélioration d’images, ce qui atteste de son avantage. Le code source et les modèles sont disponibles à l’adresse suivante : https://github.com/zhenglab/HarmonyTransformer.