Harmonisation d'images intrinsèques

Le composite d'une image souffre généralement inévitablement d'un problème d'incohérence, principalement dû à l'incompatibilité entre le premier plan et le fond provenant de deux images distinctes présentant des surfaces et des éclairages différents, correspondant respectivement aux caractéristiques dépendantes du matériau et dépendantes de l'éclairage, soit les images intrinsèques de réflectance et d'éclairage. Ainsi, nous cherchons à résoudre le problème d'harmonisation d'image via une harmonisation séparable de la réflectance et de l'éclairage, c’est-à-dire l’harmonisation d’images intrinsèques. Notre méthode repose sur un autoencodeur qui décompose une image composite en ses composantes de réflectance et d’éclairage, afin de permettre une harmonisation séparée. Plus précisément, nous harmonisons la réflectance grâce à une pénalité de cohérence matérielle, tandis que l’éclairage est harmonisé en apprenant et en transférant la lumière du fond vers le premier plan. En outre, nous modélisons les relations entre les patches du premier plan et du fond d’une image composite de manière à éviter l’incohérence, afin de guider de manière adaptative notre harmonisation d’images intrinsèques. Des expériences étendues ainsi que des études d’ablation démontrent la puissance de notre méthode ainsi que l’efficacité de chacun de ses composants. Nous proposons également un nouveau jeu de données exigeant pour la benchmarking de l’harmonisation de l’éclairage. Le code et le jeu de données sont disponibles à l’adresse suivante : https://github.com/zhenglab/IntrinsicHarmony.