AdaInt : Apprentissage d'intervalles adaptatifs pour les tables de recherche 3D en temps réel pour l'amélioration des images

La table de correspondance 3D (3D LUT) est un outil très efficace pour les tâches d'amélioration d'image en temps réel, qui modélise une transformation de couleur 3D non linéaire en la discrétisant dans un réseau 3D à l'aide d'un échantillonnage épars. Les travaux précédents ont tenté d'apprendre des valeurs de couleur de sortie adaptées à l'image pour une amélioration flexible, mais ils négligent l'importance de la stratégie d'échantillonnage. Ils adoptent une allocation de points d'échantillonnage uniforme sous-optimale, limitant ainsi l'expressivité des LUT apprises, car l'interpolation (tri-)linéaire entre les points d'échantillonnage uniformes dans la transformation LUT peut ne pas réussir à modéliser les non-linéarités locales de la transformation de couleur. En nous concentrant sur ce problème, nous présentons AdaInt (Adaptive Intervals Learning), un nouveau mécanisme permettant une allocation plus flexible des points d'échantillonnage en apprenant de manière adaptative les intervalles d'échantillonnage non uniformes dans l'espace de couleur 3D. De cette façon, une LUT 3D peut augmenter sa capacité en effectuant un échantillonnage dense dans les plages de couleurs nécessitant des transformations hautement non linéaires et un échantillonnage épars pour les transformations quasi-linéaires. Le module AdaInt proposé pourrait être mis en œuvre comme un module compact et efficace prêt à l'emploi pour une méthode basée sur LUT 3D. Pour permettre l'apprentissage end-to-end d'AdaInt, nous avons conçu un nouvel opérateur différentiable appelé AiLUT-Transform (Adaptive Interval LUT Transform) afin de localiser les couleurs d'entrée dans la LUT 3D non uniforme et de fournir des gradients aux intervalles d'échantillonnage. Les expériences montrent que les méthodes équipées d'AdaInt peuvent atteindre des performances de pointe sur deux jeux de données publics avec une augmentation négligeable du coût computationnel. Notre code source est disponible sur https://github.com/ImCharlesY/AdaInt.