要約
雨は一般的な気象現象であり、カメラからの距離に応じて物体の可視性が変化する。特に、遠方の物体は雨筋よりも霧によってより強く視認を妨げられる。しかし、従来の雨除去手法およびデータセットは、こうした物理的特性を無視しているため、実写画像における雨除去の効率が制限されている。本研究では、まずシーンの深度に応じた雨の視覚的影響を分析し、雨筋と霧を統合した雨の画像生成モデルを構築する。その後、実際の屋外画像に雨筋と霧を加えた新たなデータセット「RainCityscapes」を構築した。さらに、深度をガイドとする注意機構を用いて深度に応じた特徴を学習するエンドツーエンド型深層ニューラルネットワークを設計し、残差マップを回帰することで雨のない画像を出力する。複数の最先端手法と比較するための視覚的および定量的実験を実施し、本手法の優位性を示した。