4D LUT : Table d'association 4D apprenable et consciente du contexte pour l'amélioration d'images

L’amélioration d’image vise à améliorer la qualité visuelle esthétique des photos en retouchant la couleur et le ton, et constitue une technologie essentielle en photographie numérique professionnelle. Ces dernières années, les algorithmes d’amélioration d’image basés sur l’apprentissage profond ont atteint des performances prometteuses et suscité un intérêt croissant. Toutefois, les approches classiques tentent de construire un transformateur uniforme applicable à tous les pixels pour leur transformation couleur, négligeant ainsi les différences entre pixels appartenant à des contenus distincts (par exemple, ciel, océan, etc.), qui sont pourtant cruciales dans les photographies, entraînant des résultats insatisfaisants. Dans cet article, nous proposons une nouvelle table de correspondance à quatre dimensions (4D LUT) apprenable et sensible au contexte, permettant une amélioration dépendante du contenu pour différents éléments présents dans chaque image, grâce à une apprentissage adaptatif du contexte photographique. Plus précisément, nous introduisons d’abord un encodeur de contexte léger et un encodeur de paramètres, chargés respectivement d’apprendre une carte de contexte au niveau des pixels (indiquant la catégorie du contenu) et un ensemble de coefficients adaptatifs à l’image. Ensuite, la 4D LUT sensible au contexte est générée en combinant plusieurs 4D LUT de base à l’aide de ces coefficients. Enfin, l’image améliorée est obtenue en alimentant l’image source et la carte de contexte dans la 4D LUT fusionnée sensible au contexte via une interpolation quadrilinéaire. Contrairement à la 3D LUT traditionnelle (c’est-à-dire une correspondance RGB → RGB), couramment utilisée dans les pipelines d’imagerie des appareils photo ou dans les outils de retouche, la 4D LUT (c’est-à-dire une correspondance RGBC (RGB + contexte) → RGB) permet un contrôle plus fin des transformations de couleur pour des pixels appartenant à des contenus différents au sein d’une même image, même lorsque leurs valeurs RGB sont identiques. Les résultats expérimentaux démontrent que notre méthode surpasser d’autres méthodes de pointe sur des benchmarks largement utilisés.