TransWeather: 変換器を用いた悪天候による画像の劣化修復

画像から雨、霧、雪などの悪天候条件を除去することは、多くの応用分野において重要な問題となっています。これまでの文献で提案された大半の手法は、特定の一種類の劣化のみを除去することに焦点を当てていました。最近では、ニューラルアーキテクチャサーチを使用したCNNベースの手法（All-in-One）が提案され、一度にすべての天候条件を除去することが可能になりました。しかし、この手法は各天候除去タスクに対応するために複数のエンコーダーを使用しているため、パラメータ数が多く、性能向上の余地があります。本研究では、全悪天候条件除去問題に対する効率的な解決策を開発することに焦点を当てています。そのために、単一のエンコーダーとデコーダーを持つトランスフォーマーベースのエンドツーエンドモデルであるTransWeatherを提案します。具体的には、パッチ内の注意を強化して小さな天候劣化を効果的に除去するための新しいトランスフォーマーエンコーダーを使用しています。また、対象となる天候劣化に適応するための学習可能な天候タイプ埋め込みを持つトランスフォーマーデコーダーも導入しています。TransWeatherは、All-in-Oneネットワークや特定タスク向けに微調整された手法よりも複数のテストデータセットで改善が見られました。さらに、実世界のテスト画像でも検証され、以前の手法よりも効果的であることが確認されました。実装コードは以下のURLからアクセスできます: https://github.com/jeya-maria-jose/TransWeather 。