効率的なRGB-T追跡のための統一された単段階トランスフォーマーネットワーク

既存のRGB-T追跡ネットワークの多くは、モダリティ特徴を個別に抽出する方法を採用しており、これによりモダリティ間での相互作用や相互ガイダンスが欠けています。この制限により、ネットワークは目標の多様な双モダリティ外観やモダリティ間の動的な関係性への適応能力が制限されます。さらに、これらのネットワークが採用している三段階融合追跡パラダイムは、追跡速度を大幅に制限しています。これらの問題を克服するために、我々は統一された単段階Transformer RGB-T追跡ネットワークであるUSTrackを提案します。このネットワークは、自己注意機構を通じてテンプレートと探索領域の融合特徴をモダリティ間での相互作用のもとで抽出できるよう、上記の三つの段階を単一のViT（Vision Transformer）バックボーンと双方向埋め込み層に統合します。この構造により、ネットワークはこれらの特徴間で関係モデル化を行い、予測のためにより優れた目標-背景識別力を有する探索領域の融合特徴を効率的に取得できます。また、無効なモダリティによる予測への影響を軽減し、追跡性能をさらに向上させるために、モダリティ信頼度に基づく新しい特徴選択メカニズムを導入しました。三つの主要なRGB-T追跡ベンチマークにおける広範な実験結果から、当手法が最新の最先端性能を達成しつつ最速の推論速度84.2FPS（フレーム毎秒）を維持することが示されています。特にVTUAVデータセットの短期および長期サブセットにおいてMPR/MSR（Mean Precision Rate/Mean Success Rate）がそれぞれ11.1% / 11.7% および 11.3% / 9.7% 上昇しました。