
要約
既存の雨除去アルゴリズムは、一般的に雨線の除去または雨滴の除去のいずれかに焦点を当てており、実世界の雨天シーンを適切に処理できない場合がある。さらに、異なる種類の雨とその対応する雨なし真値(rain-free ground-truth)を含む実世界の雨除去データセットが不足していることも、雨除去アルゴリズムの開発を阻害している。本論文では、実世界の雨除去問題に対処するため、二つの側面からアプローチを行う。第一に、雨線と雨滴を統一的なフレームワーク内で除去するため、補完的カスケードネットワーク構造(CCN: Complementary Cascaded Network)を提案する。具体的には、CCNは雨滴除去と雨線除去を補完的に実行する——すなわち、雨滴除去の後に雨線除去を行うか、逆に雨線除去の後に雨滴除去を行う——その後、注目機構(attention-based fusion module)を用いて結果を融合する。雨線と雨滴には形状や構造の顕著な違いがあるため、これらを効果的に除去できる高度な手動設計ネットワークを構築することは困難である。そこで、我々は指定された雨除去探索空間内で最適なアーキテクチャを適応的に探索するため、ニューラルアーキテクチャ探索(Neural Architecture Search, NAS)を採用した。第二に、実用的シナリオにおける雨除去アルゴリズムの発展を促進するため、新たな実世界の雨画像データセット「RainDS」を提示する。RainDSは、雨線のみ、雨滴のみ、および両方を含むさまざまなタイプの雨画像とその対応する雨なし真値を含む。既存のベンチマークおよびRainDSにおける広範な実験結果から、本手法が最先端技術を上回ることを実証した。