空間注意単画像脱雨処理と高品質実際の雨データセットを使用した脱雨

単一画像からの雨筋除去は、雨筋が画像の品質を著しく劣化させ、既存の屋外ビジョンタスクの性能に影響を与えるため、大きな注目を集めています。最近のCNNベースの雨除去手法では有望な結果が報告されていますが、以下の2つの理由から雨除去は未解決の問題となっています。第一に、既存の合成雨データセットは、実際の雨特性（形状、方向性、強度）をモデル化する点で現実的な制約があります。第二に、実際の雨画像に対する定量的な比較用の公開ベンチマークがないため、現在の評価が客観的でないという課題があります。本質的な難しさは、現実世界における雨/クリーン画像ペアを同時に取得できないことです。本論文では、単一画像からの雨除去問題に対処するために2つの方法を提案します。第一に、時間的先験情報と人間監督を取り入れた半自動的手法を提案し、各入力シーケンスから高品質なクリーン画像を生成します。この手法を使用して、$\sim$$29.5K$件の雨/無雨画像ペアからなる大規模データセットを作成しました。このデータセットは幅広い自然な雨シーンをカバーしています。第二に、実際の雨筋分布をより適切に捉えるために、新しいSPatial Attentive Network (SPANet) を提案します。このネットワークは局所から全体へと順番に rain streaks（雨筋） を除去します。多数の実験により、我々のネットワークが最新の rain removal methods（雨除去手法） に対して優れた性能であることが示されました。