Command Palette
Search for a command to run...
シャドウフリーのシャドウ除去を実現するためのデュアル階層的集約ネットワークとシャドウマッティングGAN
シャドウフリーのシャドウ除去を実現するためのデュアル階層的集約ネットワークとシャドウマッティングGAN
Xiaodong Cun Chi-Man Pun Cheng Shi
概要
影の除去はシーン理解において重要なタスクである。多くの研究では、画像の内容を単に一致させることに注力しているが、これにより2種類のゴースト現象が生じる傾向がある。すなわち、影領域における色の不一致や、影の境界付近に生じるアーティファクトである。本論文では、これらの課題に対して2つのアプローチを提案する。第一に、境界アーティファクトのない高品質な画像を精緻に学習するため、新しいネットワーク構造である「二重階層的特徴集約ネットワーク(Dual Hierarchically Aggregation Network: DHAN)」を提案する。本ネットワークはダウンサンプリングを一切行わず、成長型畳み込み(growth dilated convolutions)をバックボーンとして用い、階層的に多様なコンテキスト特徴を統合し、それぞれを注意機構(attention)と予測に活用する。第二に、限られたデータセット上で学習を行うことで、ネットワークのテクスチャ理解能力が制限され、影領域における色の不一致が生じると考える。現在、最大規模のデータセットであっても、2,000組以上の影付き/影なし画像ペアを含むものの、背景が同一で影の位置のみ異なるサンプルが多数存在するため、実際の固有シーン数は0.1,000件以下に過ぎない。この問題を解決するために、与えられた影マスクと影なし画像から現実的な影マッティングを生成するための「影マッティング生成的敵対ネットワーク(Shadow Matting Generative Adversarial Network: SMGAN)」を設計した。新規のマスクやシーンを用いて合成された影画像を活用することで、既存データセットの品質を向上させた。実験の結果、本研究で提案するDHANは影を効果的に除去し、高品質なゴーストなし画像を生成できることが確認された。合成データと実データの両方で学習を行った本ネットワークは、他の最先端手法と比較して大幅に優れた性能を発揮した。コードは以下のURLから公開されている:http://github.com/vinthony/ghost-free-shadow-removal/