4D LUT: Lernbare kontextbewusste 4D-Abfrage-Tabelle für die Bildverbesserung

Die Bildverbesserung zielt darauf ab, die ästhetische visuelle Qualität von Fotos durch Nachbearbeitung von Farbe und Ton zu steigern und stellt eine wesentliche Technologie für die professionelle digitale Fotografie dar. In den letzten Jahren haben tiefenlernenbasierte Algorithmen zur Bildverbesserung vielversprechende Leistungen erzielt und gewinnen zunehmend an Beliebtheit. Typische Ansätze konstruieren jedoch einen einheitlichen Verbesserer für die Farbtransformation aller Pixel, wodurch die Unterschiede zwischen Pixeln verschiedener Inhalte (z. B. Himmel, Ozean usw.), die für Fotos von großer Bedeutung sind, vernachlässigt werden, was zu unzufriedenstellenden Ergebnissen führt. In diesem Artikel stellen wir einen neuartigen, lernbaren kontextbewussten vierdimensionalen Abbildungstabelle (4D LUT) vor, der eine inhaltsabhängige Verbesserung verschiedener Inhalte innerhalb jedes Bildes ermöglicht, indem der Bildkontext adaptiv gelernt wird. Insbesondere führen wir zunächst einen leichten Kontext-Encoder und einen Parameter-Encoder ein, um jeweils eine Kontextkarte für die pixelweisen Kategorien und eine Gruppe von bildadaptiven Koeffizienten zu erlernen. Anschließend wird die kontextbewusste 4D LUT durch Kombination mehrerer Basis-4D LUTs mittels dieser Koeffizienten generiert. Schließlich kann das verbesserte Bild durch Eingabe des Quellbildes und der Kontextkarte in die integrierte kontextbewusste 4D LUT mittels quadrilinearer Interpolation erhalten werden. Im Vergleich zur traditionellen 3D LUT, also der RGB-zu-RGB-Abbildung, die üblicherweise in Kamerabildverarbeitungspipelines oder Werkzeugen verwendet wird, ermöglicht die 4D LUT, also die RGBC (RGB + Kontext)-zu-RGB-Abbildung, eine feinere Kontrolle der Farbtransformationen für Pixel mit unterschiedlichen Inhalten innerhalb eines Bildes – selbst wenn diese dieselben RGB-Werte aufweisen. Experimentelle Ergebnisse zeigen, dass unsere Methode andere state-of-the-art-Verfahren in gängigen Benchmark-Datenbanken übertrifft.