要約
RGBT追跡は、高速運動、スケール変化、照明変化、熱的クロスオーバー、遮蔽などの多様な課題に直面することが多い。従来の手法は、これらのすべての課題を同時に解決するために統合モデルを研究するが、これには複雑な統合モデルと大量の学習データが必要となるため、実世界のシナリオではしばしば構築が困難である。本研究では、課題の属性に応じて統合プロセスを分離することで、パラメータ数を抑えた小さなモデル構成で高い統合能力を実現するとともに、大規模な学習データへの依存を軽減する新しい属性ベースの段階的統合ネットワーク(Attribute-Based Progressive Fusion Network, APFNet)を提案する。具体的には、熱的クロスオーバー、照明変化、スケール変化、遮蔽、高速運動という5つの課題それぞれに対して、属性特化型の統合ブランチを設計し、RGB画像と熱画像の特徴をそれぞれの課題条件下で統合する。統合プロセスの分離により、各ブランチに少量のパラメータで十分な耐障害性を確保しつつ、各ブランチを対応する属性ラベル付きの小規模な学習サブセットで独立して学習可能となる。さらに、すべてのブランチの特徴を適応的に統合するため、SKNetに基づく集約統合モジュールを設計した。最後に、集約された特徴およびモダリティ特化特徴を強化するための強化統合トランスフォーマーも提案している。ベンチマークデータセットにおける実験結果から、本手法APFNetが他の最先端手法に対して優れた性能を発揮することが確認された。