可視-熱赤外線UAV追跡：大規模ベンチマークと新しいベースライン

多モーダルセンサの普及に伴い、可視-熱赤外線（RGB-T）オブジェクト追跡は、物体の温度情報を利用して堅牢な性能と広範な応用シナリオを実現することを目指しています。しかし、ペアになった訓練サンプルの不足がRGB-T追跡の潜在力を解き放つための主要なボトルネックとなっています。高品質なRGB-Tシークエンスを収集することは労力が必要であり、最近のベンチマークではテストシークエンスのみが提供されています。本論文では、可視-熱赤外線無人航空機追跡（VTUAV）用の大規模かつ多様性豊かなベンチマークを構築しました。このベンチマークには、1.7百万枚の高解像度（1920×1080ピクセル）フレームペアを持つ500のシークエンスが含まれています。さらに、短時間追跡、長時間追跡、セグメンテーションマスク予測など、多様なカテゴリとシーンを考慮した包括的な応用について評価を行いました。また、チャレンジ固有のトラッカーの可能性を引き出すために、粗密属性注釈を提供しており、フレームレベルでの属性が付与されています。さらに、さまざまなレベルでRGB-Tデータを融合する新しいRGB-Tベースラインである階層的マルチモーダル融合トラッカー（HMFT）を設計しました。複数のデータセット上で多数の実験を行い、HMFTの有効性と異なる融合タイプによる補完性を明らかにしました。本事業に関する詳細はここでご覧いただけます。