11日前

HomoFormer:画像の影除去のための均質化Transformer

{Zheng-Jun Zha, Kai Zhu, Jie Huang, Dong Li, Yurui Zhu, Xueyang Fu, Jie Xiao}
HomoFormer:画像の影除去のための均質化Transformer
要約

影の劣化が空間的に不均一であり、パターンも多様である点は、主流モデルが採用する重み共有構造と矛盾しており、妥協的な処理結果を招く可能性がある。本稿では、この問題に対処するため、影の変換という視点から新たな戦略を提案する。具体的には、影の劣化の空間分布を直接均質化することを目的とする。本研究の核心となる設計は、ランダムシャッフル操作とその逆操作である。すなわち、ランダムシャッフル操作は空間的にピクセルを確率的に再配置し、逆操作により元の順序を復元する。この操作により、影は画像全体に広がり、劣化の分布が均質化される。その結果、局所的な自己注意(local self-attention)層によって効果的に処理可能となる。さらに、画像の構造情報を有効に活用するため、位置モデリングを組み込んだ新しいフィードフォワードネットワークを考案した。これらの要素を統合し、最終的に局所窓に基づくトランスフォーマー「HomoFormer」を構築した。HomoFormerは局所トランスフォーマーの線形計算量を維持しつつ、影の不均一性や多様性という課題を回避できる。公開データセットを用いた広範な実験により、HomoFormerの優れた性能が検証された。

HomoFormer:画像の影除去のための均質化Transformer | 最新論文 | HyperAI超神経