要約
RGBT追跡におけるマルチモーダル特徴融合は、近年多くの融合研究を生み出しています。しかし、既存のRGBT追跡手法では、固定された融合構造を多様なモーダル特徴の統合に広く採用しており、動的な状況での様々な課題に対応するのが困難です。この問題を解決するために、本研究では新たな注意に基づく融合ルーター（Attention-based Fusion router）であるAFterを提案します。これは、動的な挑戦的な状況に適応するための融合構造を最適化し、堅牢なRGBT追跡を実現します。特に、階層的注意ネットワークに基づいた融合構造空間を設計し、各注意ベースの融合ユニットが一つの融合操作に対応し、これらの注意ユニットの組み合わせが一つの融合構造に対応します。注意ベースの融合ユニットの組み合わせを最適化することで、動的に様々な挑戦的な状況に適応するための融合構造を選択できます。神経アーキテクチャ探索アルゴリズムにおける異なる構造の複雑な探索とは異なり、我々は動的ルーティングアルゴリズムを開発しました。これにより、各注意ベースの融合ユニットにルーターを装備し、効率的な融合構造の最適化のために組み合わせ重みを予測することができます。5つの主流のRGBT追跡データセットに対する広範な実験結果から、提案したAFterが最先端のRGBT追跡器に対して優れた性能を持つことが示されました。コードはhttps://github.com/Alexadlu/AFterで公開されています。