16日前

マルチスケールプログレッシブ統合ネットワークによる単一画像の雨除去

Kui Jiang, Zhongyuan Wang, Peng Yi, Chen Chen, Baojin Huang, Yimin Luo, Jiayi Ma, Junjun Jiang
マルチスケールプログレッシブ統合ネットワークによる単一画像の雨除去
要約

空気中の雨筋は、カメラからの距離の違いにより、さまざまなぼかし度合いと解像度で現れます。雨の画像およびそのマルチスケール(またはマルチリゾリューション)バージョンにおいて、類似した雨のパターンが観察されるため、これらの補完的な情報を活用して雨筋の表現を行うことが可能になります。本研究では、入力画像のスケールおよび階層的な深層特徴の観点から、統一的なフレームワークとしてマルチスケールプログレッシブ融合ネットワーク(MSPFN)を提案し、雨筋のマルチスケール協調表現を探索します。異なる位置に存在する類似した雨筋について、再帰的計算を用いてグローバルなテクスチャを捉えることで、空間次元における補完的かつ重複する情報の活用が可能となり、対象の雨筋をより正確に特徴づけることができます。さらに、マルチスケールピラミッド構造を構築し、異なるスケール間の相関情報を精緻に統合するため、注目機構(attention mechanism)を導入しています。このマルチスケールプログレッシブ融合戦略は、協調的表現を促進するだけでなく、エンドツーエンドの学習性能も向上させます。提案手法は複数のベンチマークデータセット上で広範に評価され、最先端の性能を達成しています。さらに、同時並行的な除雨・検出・セグメンテーションのタスクにおいて実験を行い、視覚タスク駆動型画像除雨という新たな研究方向性を提示しました。ソースコードは以下のURLから入手可能です:\url{https://github.com/kuihua/MSPFN}。

マルチスケールプログレッシブ統合ネットワークによる単一画像の雨除去 | 最新論文 | HyperAI超神経