再帰的なSqueeze-and-Excitationコンテキスト集約ネットワークを用いた単一画像の雨除去

雨筋は可視性を著しく低下させ、多くの現在のコンピュータビジョンアルゴリズムが機能しなくなる原因となります。したがって、画像から雨を除去することは必要不可欠です。本研究では、単一画像の雨除去に向けた新しい深層ネットワークアーキテクチャを提案します。このアーキテクチャは深層畳み込みニューラルネットワークと再帰型ニューラルネットワークに基づいています。コンテキスト情報が雨除去にとって非常に重要であるため、まず大域的な受容野を獲得するために空洞化畳み込みニューラルネットワークを採用しました。さらに、雨除去タスクに適するようにネットワークを改良しています。大雨の場合、雨筋は様々な方向と形状を持ち、複数の雨筋レイヤーの累積として捉えることができます。そこで、スクリューズ・アンド・エキサイテーションブロックを取り入れることで、強度と透明度に応じて異なるα値を各雨筋レイヤーに割り当てます。また、雨筋レイヤーが重なり合っているため、一回の処理で雨を完全に除去するのは容易ではありません。そのため、雨除去プロセスを複数段階に分解しました。再帰型ニューラルネットワークは、前の段階での有用な情報を保持し、後の段階での雨除去に寄与することから組み込まれています。私たちは合成データセットおよび実世界データセットにおいて広範な実験を行いました。提案手法はすべての評価指標において最先端の手法を上回る結果を得ています。コードおよび補足資料はプロジェクトウェブページ（https://xialipku.github.io/RESCAN）で公開されています。