SnowFormer: スケール認識を備えたコンテキスト相互作用トランスフォーマーによる単一画像の除雪処理

様々な複雑な雪の劣化により、単一画像からの雪除去は挑戦的な画像復元タスクとなっています。従来の手法では理想的に処理できないため、当研究では新しいトランスフォーマーであるSnowFormerを提案します。SnowFormerは効率的なクロスアテンションを探索し、パッチ間での局所-全体のコンテキスト相互作用を構築することで、局所演算子や通常のトランスフォーマーを使用する既存の手法を超える性能を発揮します。SnowFormerは従来の雪除去手法や一般的な画像復元手法と比較していくつかの利点を持っています。第一に、最近の画像復元用ビジョントランスフォーマーで使用されるマルチヘッド自己注意とは異なり、SnowFormerはスケール認識型雪クエリと局所パッチ埋め込み間での局所-全体のコンテキスト相互作用を行うためにマルチヘッドクロスアテンションメカニズムを導入しています。第二に、SnowFormerにおける雪クエリは集約されたスケール認識型特徴から生成され、潜在的なクリーンな手がかりが豊富であるため、優れた復元結果につながります。第三に、SnowFormerは6つの合成データセットおよび実世界データセットにおいて、最先端の雪除去ネットワークや一般的な画像復元トランスフォーマーを凌駕しています。コードは以下のURLで公開されています: \url{https://github.com/Ephemeral182/SnowFormer}。