11日前

シャドウ除去のための双射マッピングネットワーク

{Zheng-Jun Zha, Qibin Sun, Feng Zhao, Xueyang Fu, Jie Huang, Yurui Zhu}
シャドウ除去のための双射マッピングネットワーク
要約

影の除去は、影領域内の背景を復元することを目的としているが、その問題は非常に不適切な定式化(ill-posed)であるため、困難を伴う。従来の深層学習ベースの手法は、主にペアで対応する画像の内容のみを考慮して影を個別に除去するものであり、影の生成プロセスが影の除去に与える補助的な教師信号(auxiliary supervision)をほとんど活用していない。本研究では、影の除去と生成が相互に関連しており、互いに有用な情報に基づく教師信号を提供しうると主張する。具体的には、影の除去と生成の学習プロセスを統一的かつパラメータ共有の枠組みで結合する新しい双射写像ネットワーク(Bijective Mapping Network, BMNet)を提案する。このネットワークは、両方向の一貫した制約と同期的な最適化により、前向きな影除去プロセスにおいて、潜在的な背景コンテンツを効果的に復元できる。さらに、実世界データセットに対する統計分析を通じて、異なる色スペクトル下での影の外観が一貫しないことを観察・検証した。この知見を踏まえ、学習された影不変色情報(shadow-invariant color information)を明示的に利用してネットワークの色再構成をガイドする「影不変色ガイドモジュール」(Shadow-Invariant Color Guidance Module, SICGM)を設計した。これにより、色バイアスの影響をさらに低減できる。代表的なベンチマークデータセットであるISTD、ISTD+、SRDにおける実験結果から、本研究で提案するネットワークは、最先端手法[??]と比較して、影除去性能において優れている一方で、ネットワークパラメータはその0.25%、浮動小数点演算量(FLOPs)は6.25%にまで削減できることを示した。

シャドウ除去のための双射マッピングネットワーク | 最新論文 | HyperAI超神経