時間適応型RGBT追跡におけるモダリティプロンプト

RGBT追跡は、ロボティクス、監視処理、自動運転などの様々な分野で広く使用されています。既存のRGBT追跡器はテンプレートと探索領域の間の空間情報を十分に活用し、外観マッチング結果に基づいて目標を位置決めします。しかし、これらのRGBT追跡器は時間情報の活用が非常に限定的であり、時間情報を無視するかオンラインサンプリングおよび学習を通じて活用しています。前者は対象の状態変化に対応するのが困難であり、後者は空間情報と時間情報の相関関係を見落としています。これらの制約を緩和するために、我々は新しい時間適応型RGBT追跡フレームワークであるTATrack（Temporal Adaptive Tracking）を提案します。TATrackは空間-時間二重構造を持ち、オンライン更新されるテンプレートによって時間情報を捉えます。ここでいう二重構造とは、初期テンプレートとオンライン更新テンプレートそれぞれに対する多モーダル特徴抽出とクロスモーダル相互作用を指します。TATrackは目標位置決めのために空間-時間情報と多モーダル情報を包括的に活用することに貢献します。さらに、我々は二つのブランチをつなぐ空間-時間相互作用（Spatio-Temporal Interaction: STI）メカニズムを設計しました。このメカニズムにより、クロスモーダル相互作用がより長い時間スケールにわたって可能になります。三つの主要なRGBT追跡ベンチマークでの広範な実験結果から、当手法が最先端の性能を達成しつつリアルタイム速度で動作することが示されました。