DCCF : Cadre d'apprentissage profond et compréhensible de filtres colorés pour l'harmonisation d'images haute résolution

L'algorithme d'harmonisation des couleurs vise à ajuster automatiquement la distribution des couleurs entre les images avant-plan et arrière-plan capturées dans des conditions différentes. Les modèles basés sur l'apprentissage profond proposés précédemment négligent deux enjeux cruciaux pour les applications pratiques : le traitement d'images haute résolution (HR) et la compréhensibilité du modèle. Dans cet article, nous proposons un nouveau cadre d'apprentissage, appelé Deep Comprehensible Color Filter (DCCF), dédié à l'harmonisation d'images haute résolution. Plus précisément, DCCF commence par réduire la résolution de l'image d'entrée d'origine pour obtenir sa version à basse résolution (LR), puis apprend de manière end-to-end quatre filtres neuronaux compréhensibles par l'humain (à savoir : filtre de teinte, filtre de saturation, filtre de valeur et filtre de rendu attentif). Enfin, ces filtres sont appliqués à l'image d'entrée d'origine afin d'obtenir le résultat harmonisé. Grâce à l'utilisation de filtres neuronaux compréhensibles, nous pouvons offrir aux utilisateurs un outil simple mais efficace leur permettant de collaborer avec le modèle profond pour obtenir les résultats souhaités avec un effort minimal lorsque cela est nécessaire. Des expériences étendues démontrent l'efficacité du cadre DCCF, qui surpasserait la méthode de post-traitement de pointe sur le jeu de données iHarmony4, en atteignant une amélioration relative de 7,63 % et 1,69 % respectivement sur les critères MSE et PSNR, même à la résolution complète des images.