Harmonisation d'images haute résolution par transformations duals collaboratives

Étant donné une image composite, l’harmonisation d’image vise à ajuster le premier plan afin qu’il soit cohérent avec le fond. L’harmonisation d’images haute résolution est fortement demandée, mais reste encore peu explorée. Les méthodes classiques d’harmonisation d’image apprennent une transformation globale du RGB vers RGB, qui peut être facilement étendue à haute résolution, mais ignorent les contextes locaux variés. Les méthodes récentes basées sur l’apprentissage profond apprennent une transformation dense pixel par pixel, capable de produire des résultats harmonieux, mais sont fortement limitées en résolution basse. Dans ce travail, nous proposons un réseau d’harmonisation d’images haute résolution, nommé CDTNet (Collaborative Dual Transformation Network), qui intègre de manière cohérente, dans un cadre end-to-end, la transformation pixel par pixel et la transformation RGB vers RGB. Notre CDTNet se compose d’un générateur à basse résolution pour la transformation pixel par pixel, d’un module de cartographie des couleurs pour la transformation RGB vers RGB, ainsi qu’un module de raffinement permettant d’exploiter les avantages des deux approches. Des expériences étendues sur un ensemble de données de référence haute résolution et sur des images composites réelles haute résolution que nous avons créées démontrent que notre CDTNet atteint un bon équilibre entre efficacité et efficacité. Les jeux de données utilisés sont disponibles à l’adresse suivante : https://github.com/bcmi/CDTNet-High-Resolution-Image-Harmonization.