Command Palette
Search for a command to run...
スタックされた条件付きジェネレーティブ・アドバーザリアル・ネットワークを用いた影検出と影除去の共同学習
スタックされた条件付きジェネレーティブ・アドバーザリアル・ネットワークを用いた影検出と影除去の共同学習
Jifeng Wang Xiang Li Le Hui Jian Yang
概要
単一画像から影を理解することは、これまでの研究では影検出と影除去という2つのタイプのタスクに自然と分岐してきました。本論文では、既存の研究には見られない多タスク視点を提示し、両方のタスクをエンドツーエンドで共同学習することで、互いに改善される利点を享受することを目指しています。我々のフレームワークは、新しいSTacked Conditional Generative Adversarial Network(ST-CGAN)に基づいており、これは2つのスタックされたCGANから構成されています。それぞれがジェネレータとディスクリミネータを持っています。具体的には、影付き画像が最初のジェネレータに入力され、影検出マスクが生成されます。その影付き画像と予測されたマスクを連結して、2つ目のジェネレータを通じて最終的に影なし画像が得られます。さらに、対応する2つのディスクリミネータは、検出された影領域と影除去による再構成において、より高レベルの関係性や全体的なシーン特性をモデル化することが期待されます。特に多タスク学習において、我々が提案するスタックパラダイムは一般的に使用されているマルチブランチ版とは明確に異なる新しい視点を提供します。我々の提案したフレームワークの性能を完全に評価するために、135のシーン下で1870組の画像トリプレット(影付き画像、影マスク画像、および影なし画像)からなる初めての大規模ベンチマークデータセットを作成しました。広範な実験結果は一貫して示しており、ST-CGANが公開されている2つの大規模データセットと新たにリリースしたデータセットにおいて複数の代表的な最先端手法に対して優位性を持っていることを確認しています。