Réseau de rendu de courbes à séparation spatiale pour une harmonisation d’images efficace et à haute résolution

L’harmonisation d’images vise à modifier la couleur de la région composée par rapport à un fond spécifique. Les travaux antérieurs modélisent cette tâche comme une translation pixel par pixel d’image à image en utilisant des architectures du type UNet. Toutefois, la taille des modèles et le coût computationnel limitent leur efficacité sur les dispositifs embarqués et les images à haute résolution. À cet effet, nous proposons pour la première fois un nouveau réseau de rendu de courbes séparées spatialement (S²CRNet) pour une harmonisation d’images efficace et à haute résolution. Dans S²CRNet, nous extrayons d’abord des embeddings séparés spatialement à partir des miniatures du premier plan masqué et du fond, individuellement. Ensuite, nous concevons un module de rendu de courbes (CRM), qui apprend et combine des connaissances spécifiques à l’espace à l’aide de couches linéaires afin de générer les paramètres de la carte de courbe par morceaux dans la région du premier plan. Enfin, nous rendons directement les images originales à haute résolution en utilisant la courbe de couleur apprise. Par ailleurs, nous proposons deux extensions du cadre proposé : le CRM en cascade (Cascaded-CRM) pour une raffinement progressif, et le CRM sémantique (Semantic-CRM) pour une guidance sémantique. Les expériences montrent que la méthode proposée réduit de plus de 90 % le nombre de paramètres par rapport aux méthodes précédentes, tout en atteignant des performances de pointe sur les jeux de données synthétisés iHarmony4 et les données réelles DIH. De plus, notre méthode fonctionne de manière fluide sur des images à haute résolution (par exemple, $2048 \times 2048$) en seulement 0,1 seconde, avec des ressources GPU bien inférieures à celles de toutes les méthodes existantes. Le code sera rendu disponible à l’adresse \url{http://github.com/stefanLeong/S2CRNet}.