画像の照明光源操作のためのディープリライトネットワーク

与えられた画像の光源を操作することは、写真撮影や映画制作など多様な応用において興味深く有用なタスクである。従来の手法は、シーンの幾何構造などの追加情報を必要としているが、多くの画像においてはその情報が入手不可能である。本論文では、単一画像の再照明（single image relighting）タスクを定式化し、以下の3つのモジュールから構成される新しい深層再照明ネットワーク（Deep Relighting Network, DRN）を提案する。1）シーン再構成（scene reconversion）：深層オートエンコーダーネットワークを用いて、シーンの主要構造を抽出する。2）影の事前推定（shadow prior estimation）：敵対学習により、新たな光源方向からの光効果を予測する。3）再レンダラー（re-renderer）：主要構造と再構成された影のビューを統合し、目的の光源条件下での再照明結果を生成する。実験結果から、本手法は定性的・定量的に他の手法を上回ることを示した。特に、2020年ECCV会議で開催された「AIM2020 - Any to one relighting challenge」において、最高のPSNRを達成した。