単一露出から深層CNNを用いたHDR画像の再構成

カメラセンサは同時に限られた輝度範囲しか捉えることができません。したがって、高動的範囲（HDR）画像を作成するためには通常、異なる露出のセットを組み合わせます。本論文では、飽和した画像領域で失われた情報を予測し、単一の露出からHDR再構成を可能にする問題に取り組んでいます。この問題は深層学習アルゴリズムに適しており、HDR値の予測における課題を考慮して特別に設計された深層畳み込みニューラルネットワーク（CNN）を提案します。CNNの訓練のために、多数のHDR画像データセットを集め、そのデータセットを複数のカメラでセンサ飽和をシミュレーションすることで拡張しました。さらに堅牢性を向上させるために、MIT Placesデータベースのサブセットから作成したシミュレートされたHDRデータセットでCNNを事前学習させました。我々の手法が広い範囲の状況で高解像度かつ視覚的に説得力のあるHDR結果を再構成できること、そして未知のカメラ応答関数や後処理を使用する任意の低性能カメラで撮影された画像の再構成にも良好に汎化することを示しています。また、既存のHDR拡張手法と比較し、イメージベースライティングでも高品質な結果を得られることを示しています。最後に、HDRディスプレイ上で実施した主観的な実験により結果を評価しました。これにより、再構成されたHDR画像が視覚的に説得力があり、既存手法と比較して大幅な改善が見られることを確認しました。