2ヶ月前
OmniSR: 直接照明と間接照明下での影除去
Xu, Jiamin ; Li, Zelong ; Zheng, Yuxin ; Huang, Chenyu ; Gu, Renshu ; Xu, Weiwei ; Xu, Gang

要約
影は直接照明と間接照明の両方による遮蔽から発生します。現在のほとんどの影除去研究は直接照明によって引き起こされる影に焦点を当てていますが、間接照明からの影もしばしば同様に広範囲に存在し、特に室内シーンでは顕著です。間接照明からの影を除去する際の重要な課題は、影のない画像を取得して影除去ネットワークを訓練することです。この課題を克服するために、我々は直接および間接照明下で影のある画像と影のない画像を生成する新しいレンダリングパイプラインを提案し、30,000以上の画像ペアを含む包括的な合成データセットを作成しました。このデータセットは様々な物体タイプと照明条件をカバーしています。さらに、我々はセマンティックおよび幾何学的プリオーリ(先験情報)をコンカタネーション(結合)とアテンションメカニズムを通じて明示的に統合する革新的な影除去ネットワークも提案しています。実験結果は、当手法が最先端の影除去技術を上回り、様々な照明条件下での室内および屋外シーンに対して効果的に一般化できることを示しており、影除去手法の全体的な有効性と適用範囲を向上させています。