17日前

4D LUT:画像増強向けの学習可能で文脈認識型4Dルックアップテーブル

Chengxu Liu, Huan Yang, Jianlong Fu, Xueming Qian
4D LUT:画像増強向けの学習可能で文脈認識型4Dルックアップテーブル
要約

画像強調は、色調やトーンの補正を通じて写真の美的視覚品質を向上させることを目的とする技術であり、プロフェッショナルなデジタル写真分野において不可欠な技術である。近年、深層学習に基づく画像強調アルゴリズムは優れた性能を達成し、ますます注目を集めている。しかし、従来の手法はすべての画素に対して一様な強調器を構築しようとする傾向にあり、写真における異なるコンテンツ(例:空、海など)間の画素差を無視しているため、満足のいく結果が得られない場合がある。本論文では、写真のコンテキストを適応的に学習することで、画像内の異なるコンテンツに対してコンテンツ依存的な強調を実現する、学習可能なコンテキスト対応4次元ルックアップテーブル(4D LUT)を提案する。具体的には、まず、画素レベルのカテゴリを表すコンテキストマップを学習するための軽量なコンテキストエンコーダと、画像に適応する係数群を学習するためのパラメータエンコーダを導入する。次に、これらの係数を用いて複数の基底4D LUTを統合することで、コンテキスト対応4D LUTを生成する。最後に、元画像とコンテキストマップを、四次元線形補間(quadrilinear interpolation)を用いて融合されたコンテキスト対応4D LUTに投入することで、強調画像を得る。従来の3D LUT(RGB → RGBマッピング)に比べ、本手法で用いる4D LUT(RGBC:RGB+コンテキスト → RGBマッピング)は、同じRGB値を持つ画素でも、そのコンテンツが異なる場合に細かく色調変換を制御可能であり、より高精度な強調が可能となる。実験結果から、本手法は広く用いられるベンチマークにおいて、他の最先端手法を上回る性能を示した。