SepLUT: Trennbare, bildangepasste Suchtabellen für Echtzeitbildverbesserung

Bildanpassbare Suchtabellen (LUTs) haben aufgrund ihrer hohen Effizienz bei der Modellierung von Farbtransformationen große Erfolge in Echtzeitbildverbesserungsaufgaben erzielt. Allerdings kodieren sie die gesamte Transformation, einschließlich der farbkomponentenunabhängigen und komponentenkorrelierten Teile, in nur einer Art von LUTs, entweder 1D oder 3D, in gekoppelter Weise. Dieses Schema wirft ein Dilemma auf, das zwischen der Verbesserung der Modellausdrucksfähigkeit und der Effizienz entscheidet, bedingt durch zwei Faktoren. Einerseits bieten 1D-LUTs eine hohe Recheneffizienz, aber sie fehlen die wichtige Fähigkeit zur Interaktion von Farbkomponenten. Andererseits zeigen 3D-LUTs eine verbesserte Fähigkeit zur komponentenkorrelierten Transformation, leiden jedoch unter einem hohen Speicherbedarf, großer Trainingskomplexität und begrenzter Zellennutzung. Inspiriert durch die traditionelle Divide-and-Conquer-Praxis im Bildsignalprozessor, präsentieren wir SepLUT (separable image-adaptive lookup table), um die obengenannten Einschränkungen zu überwinden. Insbesondere trennen wir eine einzelne Farbtransformation in eine Kaskade von farbkomponentenunabhängigen und komponentenkorrelierten Teiltransformationen, die als 1D- und 3D-LUTs implementiert werden. Auf diese Weise können die Fähigkeiten der beiden Teiltransformationen sich gegenseitig ergänzen: Die 3D-LUT ergänzt die Fähigkeit zur Mischung von Farbkomponenten, während die 1D-LUT die Eingangsfarben neu verteilt, um die Zellennutzung der 3D-LUT zu erhöhen und so den Einsatz einer leichtgewichtigeren 3D-LUT zu ermöglichen. Experimente zeigen, dass das vorgeschlagene Verfahren auf Foto-Retouche-Benchmark-Datensätzen eine verbesserte Leistung bietet im Vergleich zum aktuellen Stand der Technik und sowohl auf GPUs als auch auf CPUs Echtzeitverarbeitung erreicht.