要約
単一画像の雨除去は、コンピュータビジョンにおける典型的な逆問題である。深層学習技術はこのタスクに対して効果的であり、最先端の性能を達成していることが確認されている。しかし、従来の深層学習手法では、合成された雨が付加された/されていない画像ペアの大規模な集合を事前に収集する必要があり、これによりニューラルネットワークが合成雨の特定のパターンに偏って学習しやすくなり、訓練データとは異なる種類の雨が含まれる実際のテストサンプルに対する汎化能力が低下する傾向がある。本論文では、この問題に対処するために、半教師あり学習パラダイムを提案する。従来の深層学習手法が合成された雨が付加された/されていない教師あり画像ペアのみを使用するのに対し、当手法ではクリーンな画像が不要な実際の雨天画像も訓練プロセスに組み込む。これは、入力される雨天画像とその期待されるネットワーク出力（雨なしの明瞭な画像）との残差を特定のパラメトリックな雨筋分布として巧妙に定式化することで実現される。これにより、ネットワークは教師あり合成雨から転移学習を行いながら、実際の教師なし多様な雨タイプに適応するよう訓練され、訓練サンプル不足と教師ありサンプルへの偏りという問題が顕著に緩和される。合成データおよび実際のデータを用いた実験結果は、当モデルが既存の最先端手法と比較して優れた性能を示すことを証明している。