RainMamba: 状態空間モデルを用いたローカリティ学習の強化によるビデオ脱雨

屋外ビジョンシステムは、雨粒や雨滴によって頻繁に汚染され、視覚タスクやマルチメディア応用の性能が大幅に低下します。ビデオの特性は、時間的な冗長性を示し、これにより雨除去がより高い安定性で実現できます。従来のビデオ脱雨方法は光学フロー推定やカーネルベースの手法に大きく依存しており、受容野が限られています。一方、トランスフォーマー構造は長期依存関係を可能にするものの、計算複雑度が大幅に増加するという問題があります。最近では、状態空間モデル（SSMs）の線形複雑度演算子が逆に効率的な長期時間モデリングを促進しており、これはビデオにおける雨粒や雨滴の除去にとって重要です。しかし予想外にも、ビデオに対する一次元連続処理は隣接ピクセル間の距離を広げることで空間・時間次元での局所相関を破壊します。これを解決するために、私たちは新しいヒルベルト走査メカニズムを採用した改良型SSMsベースのビデオ脱雨ネットワーク（RainMamba）を提案します。また、差分ガイドによる動的コントラスティブ局所学習戦略も導入し、提案ネットワークのパッチレベル自己相似性学習能力を向上させます。4つの合成ビデオ脱雨データセットと実世界の雨天ビデオに対する広範な実験により、当ネットワークが雨粒や雨滴の除去において有効かつ効率的であることが示されました。コードと結果は https://github.com/TonyHongtaoWu/RainMamba で公開されています。