NightRain: 夜間ビデオの雨除去を実現する適応的な雨除去と補正手法

既存の夜間ビデオの雨除去に深層学習を用いた手法は、実世界の対応データが不足しているため、合成データに依存しています。しかし、現実世界の複雑さ、特に光効果やノイズに影響を受けた低照度領域が存在することにより、大きなドメインギャップが生じ、合成データで訓練されたモデルは雨筋を適切に除去できず、過度な彩度上昇や色ずれを引き起こします。この課題に対処するため、我々はNightRainという新しい夜間ビデオの雨除去手法を提案します。NightRainには適応的な雨除去と適応的な補正機能が含まれています。我々の適応的な雨除去は、ラベル付けされていない雨ビデオを使用して、モデルが現実世界の雨ビデオから特に複雑な光効果に影響を受けた領域の雨を除去できるように設計されています。基本的なアイデアは、信頼度スコアに基づいて無雨領域を得ることです。無雨領域と入力からの対応する領域を得ることで、地域ベースの対応した実際のデータを作成できます。これらの対応データは教師-生徒フレームワークを使用してモデルを訓練するために使用され、モデルが比較的簡単な領域から難しい領域へと段階的に学習できるようになります。また、適応的な補正はモデル予測における過度な彩度上昇や色ずれなどの誤差を修正することを目指しています。基本的なアイデアは、入力トレーニングビデオとその対応する予測との違いや距離に基づいて明瞭な夜間入力トレーニングビデオから学習することです。これらの違いからモデルは学び、誤差を修正するように強制されます。広範囲にわたる実験結果から、当手法は最先端の性能を示しており、PSNR（ピーク信号対雑音比）26.73dBを達成し、既存の夜間ビデオ雨除去手法に対して13.7%という大幅なマージンで優れています。