クロスモジュレーテッドアテンショントランスフォーマーを用いたRGBT追跡

既存のTransformerベースのRGBT追跡器は、自己注意を用いて単一モーダル特徴を抽出し、クロス注意を用いて多様なモーダル特徴の相互作用とテンプレート-検索相関計算を強化することで、著しい性能向上を達成しています。しかし、独立したテンプレート-検索相関計算は各ブランチ間の一貫性を見落としており、これにより曖昧で不適切な相関重みが生じることがあります。これは単一モーダル特徴表現に制限を与え、多様なモーダル特徴の相互作用とテンプレート-検索相関計算におけるクロス注意の堅牢性にも悪影響を与えます。これらの問題に対処するため、私たちは新しい手法であるクロス調節注意Transformer（Cross-modulated Attention Transformer: CAFormer）を提案します。この手法は統一された注意モデルにおいて、単一モーダル内での自己相関、異なるモーダル間での特徴相互作用、およびテンプレート-検索相関計算を行います。特に、まず各モーダルに対して独立して相関マップを生成し、それらを設計された相関調節強化モジュールに供給することで、モーダル間の一貫性を求めることで不正確な相関重みを調整します。このような設計は自己注意とクロス注意のスキームを統合し、自己注意における不正確な注意重み計算を軽減するとともに、余分なクロス注意スキームによって導入される冗長な計算も排除します。さらに、私たちは追跡推論効率と精度をさらに向上させるために協調トークン除去戦略も提案しています。5つの公開RGBT追跡ベンチマークにおける広範な実験結果から、提案されたCAFormerが最先端の手法に対して優れた性能を持つことが示されています。