要約
影の除去は、影領域内の画像コンテンツを復元することを目的とするコンピュータビジョンのタスクである。近年のほとんどすべての影除去手法は、訓練に影のない画像を必要としているが、ECCV 2020でLeとSamarasは、影付き画像から影あり・影なしのパッチを切り出して訓練サンプルとするという、この要件を不要とする革新的なアプローチを提案した。しかし、このような非ペアのパッチを大量に構築することは依然として手間がかかり、時間がかかる問題がある。本論文では、影の生成を活用することで、弱教師付きの影除去を実現する新たなネットワークG2R-ShadowNetを提案する。本手法は、訓練に影付き画像とその対応する影マスクのセットのみを必要とする。提案するG2R-ShadowNetは、影の生成、影の除去、および精緻化の3つのサブネットワークから構成されており、これらはエンド・トゥ・エンドの形で共同で学習される。特に、影の生成サブネットは、影のない領域を影のある領域にスタイル化することで、影除去サブネットの訓練に適したペアデータを生成する。ISTDデータセットおよびVideo Shadow Removalデータセットにおける広範な実験の結果、本手法は現在の最先端技術と比較しても競争力ある性能を達成しており、LeとSamarasのパッチベースの影除去手法を上回ることを示した。