2ヶ月前

DC-ShadowNet: 単一画像の硬い影と柔らかい影の除去に用いる 監督なしドメイン分類器ガイドネットワーク

Jin, Yeying ; Sharma, Aashish ; Tan, Robby T.
DC-ShadowNet: 単一画像の硬い影と柔らかい影の除去に用いる
  監督なしドメイン分類器ガイドネットワーク
要約

単一画像からの影除去は一般的に未解決の問題である。既存の学習ベースの手法の多くは教師あり学習を使用し、訓練のために多数のペア画像(影のある画像と対応する影のない画像)を必要とする。最近の教師なし手法であるMask-ShadowGAN~\cite{Hu19}は、この制約に対処しているが、影領域を表現するためにバイナリマスクを必要とするため、ソフトシャドウには適用できない。本論文では、この問題を解決するために、教師なしドメイン分類器ガイド付き影除去ネットワークであるDC-ShadowNetを提案する。具体的には、影/影無しどちらかのドメイン分類器をジェネレータとディスクリミネータに統合することを提案し、これらが影領域に焦点を当てるようになる。我々のネットワークを訓練するために、物理に基づく影無しちromaticity(色度)、影に強い知覚特徴量、および境界平滑性に基づく新しい損失関数を導入する。さらに、我々の教師なしネットワークがテスト時の訓練にも使用できることを示し、これにより結果がさらに改善される。実験結果から、これらの新しい構成要素すべてがソフトシャドウの処理を可能にするとともに、既存の最先端の影除去手法よりも定量的にも定性的にもハードシャドウに対して優れた性能を発揮することが確認された。我々のコードは以下のURLで公開されている:\url{https://github.com/jinyeying/DC-ShadowNet-Hard-and-Soft-Shadow-Removal}。注:「chromaticity」(色度)は専門的な用語であり、「色相」と混同されないように注意が必要です。また、「soft shadows」(ソフトシャドウ)と「hard shadows」(ハードシャドウ)はそれぞれ「柔らかい影」と「硬い影」または「明確な影」と訳すことが多いですが、ここでは原文に近い表現を使用しました。

DC-ShadowNet: 単一画像の硬い影と柔らかい影の除去に用いる 監督なしドメイン分類器ガイドネットワーク | 最新論文 | HyperAI超神経