MCW-Net：マルチレベル接続およびワイド領域非局所ブロックを用いた単一画像の雨除去

近年、畳み込みニューラルネットワーク（CNN）を基盤とする研究が、雨筋の抽出に成功している。しかし、詳細な復元に関する課題は依然として残されている。本論文では、雨天画像における元の背景テクスチャを適切に復元するため、多レベル接続と広域非局所ブロックを組み合わせたネットワーク（MCW-Net）を提案する。既存のエンコーダ・デコーダ構造に基づく画像雨除去モデルが追加の分岐（branch）を導入して性能向上を図るのに対し、MCW-Netは追加の分岐を用いずに、以下の2つの新規手法により情報利用効率を最大化することで性能を向上させる。第一の手法は、エンコーダネットワークの多レベル特徴をデコーダネットワークに繰り返し接続する「多レベル接続（multi-level connection）」である。この構造により、デコーディングプロセスにおいてすべてのレベルの特徴情報を活用することが促進される。特に、各レベルの特徴量がデコーディング過程においてどの程度重要であるかを学習するため、チャネルごとのアテンション機構を導入している。第二の手法は「広域非局所ブロック（wide regional non-local block）」である。雨筋は主に垂直方向に分布する傾向があるため、画像のグリッドを水平方向に広いパッチに分割し、各領域に対して非局所演算を適用することで、雨が除去された背景情報の豊富な特徴を探索する。合成データおよび実世界の雨天データセットを用いた実験結果から、提案モデルが既存の最先端モデルを顕著に上回ることが確認された。さらに、雨除去とセグメンテーションを同時に行う統合実験の結果から、本モデルが他の視覚タスクにおいても有効な貢献を果たしていることが示された。