効率的なRGB-T追跡を実現するためのクロスモダリティ蒸留法

現在の多数のRGB-Tトラッカーは、単一モーダルなRGB画像および赤外線画像の特徴を抽出するための二ストリーム構造と、多モーダル特徴を融合するための複雑な統合戦略を採用している。しかし、これらの手法は膨大なパラメータ数を必要とし、実用的な応用を阻害する要因となっている。一方、コンパクトなRGB-Tトラッカーは計算効率が高くなるものの、特徴表現能力の低下により顕著な性能劣化を引き起こす可能性がある。この問題を解決するため、本研究では、コンパクトなトラッカーと強力なトラッカーの性能ギャップを埋めるためのクロスモーダル蒸留フレームワークを提案する。具体的には、深い二ストリームネットワークから浅い単一ストリームネットワークへ、モーダル共通情報およびモーダル固有情報を効果的に転送する「特徴蒸留モジュール（特定・共通特徴蒸留モジュール）」を提案する。さらに、複数のパスを用いて、設計された融合機構からより正確な多モーダル情報を学習できるように、シンプルな統合モジュールを指導する「マルチパス選択蒸留モジュール」も提案している。本手法の有効性は、3つのRGB-Tベンチマークにおいて広範な実験を通じて検証された。その結果、最先端の性能を達成しつつ、計算リソースの消費量を大幅に削減することが確認された。