Ruofan Liang Kai He Zan Gojcic Igor Gilitschenski Sanja Fidler Nandita Vijaykumar Zian Wang

要約

1枚の画像または動画からシーンの照明を推定することは、コンピュータビジョンおよびグラフィックス分野における長年の課題である。学習ベースのアプローチは、高ダイナミックレンジ（HDR）環境マップの真値データが極めて乏しく、収集に費用がかかる上に多様性に欠けるため、その利用が制限されている。近年の生成モデルは画像合成に強力な事前知識（prior）を提供しているが、照明推定は間接的な視覚的手がかりに依存する点、グローバル（非局所的）な文脈を推論する必要がある点、および高ダイナミックレンジの出力再構成を要求する点から、依然として困難である。本研究では、視覚入力に条件付けられたHDR環境マップを生成するように、動画拡散変換器（video diffusion transformer）を微調整する新しいデータ駆動型手法「LuxDiT」を提案する。多様な照明条件を含む大規模な合成データセットで訓練した本モデルは、間接的な視覚的手がかりから照度を推定し、実世界のシーンへも効果的に一般化する能力を習得している。さらに、入力と予測された環境マップの意味的整合性を向上させるために、収集したHDRパノラマデータを用いた低ランク適応（low-rank adaptation）微調整戦略を導入した。本手法は、現実的な角度方向の高周波成分を含む正確な照明推定を実現し、定量的および定性的な評価の両面で、従来の最先端技術を上回る性能を発揮している。