AdaInt: Lernen von adaptiven Intervallen für 3D-Lookup-Tabellen in Echtzeit-Bildverbesserung

Die 3D-Lookup-Tabelle (3D LUT) ist ein hoch-effizientes Werkzeug für Echtzeit-Bildverbesserungsaufgaben, das eine nichtlineare 3D-Farbtransformation durch deren dünn gesetzte Abtastung in ein diskretes 3D-Gitter modelliert. Frühere Arbeiten haben sich bemüht, bildadaptive Ausgabefarbwerte von LUTs zu lernen, um flexible Verbesserungen zu ermöglichen, aber sie vernachlässigen die Bedeutung der Abtaststrategie. Sie verwenden eine suboptimale gleichmäßige Verteilung der Abstichpunkte, was die Ausdrucksfähigkeit der gelernten LUTs einschränkt, da die (tri-)lineare Interpolation zwischen gleichmäßig verteilten Abstichpunkten in der LUT-Transformation möglicherweise lokale Nichtlinearitäten der Farbtransformation nicht korrekt abbilden kann. Im Fokus dieser Herausforderung präsentieren wir AdaInt (Adaptive Intervals Learning), einen neuen Mechanismus zur flexibleren Verteilung der Abstichpunkte durch das adaptive Lernen der ungleichmäßigen Abstandsbereiche im 3D-Farbraum. Auf diese Weise kann eine 3D-LUT ihre Leistungsfähigkeit steigern, indem sie dichtere Abtastungen in Farbbereichen durchführt, die stark nichtlineare Transformationen erfordern, und spärlichere Abtastungen für nahezu lineare Transformationen. Das vorgeschlagene AdaInt könnte als kompakt und effizientes Plug-and-Play-Modul für Methoden auf Basis von 3D-LUTs implementiert werden. Um das end-to-end-Lernen von AdaInt zu ermöglichen, haben wir einen neuartigen differenzierbaren Operator namens AiLUT-Transform (Adaptive Interval LUT Transform) entwickelt, der Eingangsfarben in einem ungleichmäßig verteilten 3D-LUT positioniert und Gradienten für die Abstandsbereiche bereitstellt. Experimente zeigen, dass Methoden mit AdaInt auf zwei öffentlichen Benchmark-Datensätzen den aktuellen Stand der Technik erreichen können, wobei der zusätzliche Rechenaufwand vernachlässigbar ist. Unser Quellcode ist unter https://github.com/ImCharlesY/AdaInt verfügbar.