リアルタイムでの高性能な写真強化のための画像適応型3Dルックアップテーブルの学習

近年、学習に基づく手法が写真の色とトーンを向上させるためにますます人気を集めています。しかし、多くの既存の写真強化手法は、満足のいく結果を提供できないか、または過度の計算リソースとメモリリソースを消費するため、実際には高解像度画像（通常12メガピクセル以上）への応用が制限されています。本論文では、高速かつ堅牢な写真強化を達成するために、画像に適応した3次元ルックアップテーブル（3D LUT）の学習を行います。3D LUTは、写真の色とトーンを操作するために広く使用されていますが、通常はカメライメージングパイプラインや写真編集ツールで手動で調整され、固定されています。私たちは最善の知識に基づき初めて、アノテーションデータを使用して対となる学習や非対となる学習により3D LUTを学習することを提案します。さらに重要なのは、私たちが学習した3D LUTが画像に適応し、柔軟な写真強化を行うことです。私たちは複数の基底3D LUTと小さな畳み込みニューラルネットワーク（CNN）を同時にエンドツーエンドで学習します。この小さなCNNは入力画像のダウンサンプリング版に対して作用し、コンテンツ依存的な重みを予測して複数の基底3D LUTを融合し、画像に適応した3D LUTを作成します。これにより効率的に元画像の色とトーンを変換することができます。当モデルは60万パラメータ未満であり、1つのTitan RTX GPUを使用して4K解像度の画像処理には2ミリ秒未満しかかかりません。非常に高い効率性を持つ一方で、当モデルは2つの公開ベンチマークデータセットにおいてPSNR, SSIMおよび色彩差指標において大幅に最先端の写真強化手法を超える性能を示しています。