要約
RGBおよび熱源データは、共通の課題と特定の課題に直面しており、これらのデータを探索し活用する方法がRGBT追跡における目標の外観表現において重要な役割を果たします。本論文では、モダリティ共有課題（例：高速運動、スケール変動、遮蔽）とモダリティ固有課題（例：照明変動、熱クロスオーバー）に対処するための新しいチャレンジ対応型ニューラルネットワークを提案します。特に、各層で複数のパラメータ共有ブランチを設計して、モダリティ共有課題下での目標の外観をモデル化し、モダリティ固有課題下ではパラメータ非依存ブランチを設けています。異なるモダリティのモダリティ固有情報には通常補完的な利点があるという観察に基づき、識別特性を一方のモダリティから他方へ転送するガイダンスモジュールを提案します。これにより、弱いモダリティの識別能力が向上します。さらに、すべてのブランチは適応的に集約され、バックボーンネットワークに並列埋め込まれることで効率的により識別のできる目標表現を形成します。これらのチャレンジ対応型ブランチは特定の課題下での目標外観をモデル化することができ、訓練データが不足している状況でも少数のパラメータで目標表現を学習することができます。実験結果から示すように、当手法はリアルタイム速度で動作し、3つのベンチマークデータセットにおいて最新手法に対して優れた性能を発揮しています。