PHNet : Normalisation par patch pour l'harmonisation des portraits

Un problème courant pour les images composites est l'incompatibilité de leurs composants premier plan et arrière-plan. L'harmonisation d'images vise à résoudre ce problème, en rendant l'image entière plus authentique et cohérente. La plupart des solutions existantes prédiquent des tables de correspondance (lookup tables, LUTs) ou reconstruisent les images, en utilisant divers attributs des images composites. Les approches récentes se sont principalement concentrées sur l'emploi de transformations globales telles que la normalisation et le rendu de courbes de couleur pour atteindre une cohérence visuelle, négligeant souvent l'importance de la cohérence visuelle locale. Nous présentons un réseau d'harmonisation par patchs composé de nouveaux blocs de normalisation par patchs (Patch-based Normalization, PN) et d'un extracteur de caractéristiques basé sur le transfert statistique de couleur. De nombreuses expériences montrent que ce réseau possède une forte capacité de généralisation pour différents domaines. Notre réseau obtient des résultats d'état de l'art sur le jeu de données iHarmony4. De plus, nous avons créé un nouveau jeu de données d'harmonisation de portraits humains basé sur FFHQ et testé la méthode proposée pour démontrer sa capacité de généralisation en obtenant les meilleures métriques dessus. Les expériences benchmark confirment que le bloc de normalisation par patchs suggéré et l'extracteur de caractéristiques améliorent efficacement la capacité du réseau à harmoniser les portraits. Notre code et nos modèles baselines sont disponibles au public.