生成モデルに基づく多モーダル追跡の融合メカニズム

生成モデル（GMs）は、包括的な理解を達成する際の卓越した能力により、研究への関心が高まっています。しかし、多モーダル追跡分野でのその潜在的な応用については、比較的未開拓の状態にあります。本稿では、情報融合という重要な課題に対処するために、生成技術を活用する可能性を探ることを目指します。特に、条件付き生成対抗ネットワーク（CGANs）と拡散モデル（DMs）という2つの主要なGM技術に焦点を当てます。通常の融合プロセスでは、各モーダルからの特徴量が直接融合ブロックに入力されるのに対して、GMフレームワークにおいてこれらの多モーダル特徴量をランダムノイズで条件付けます。これにより、元の訓練サンプルがより困難なインスタンスに変換され、設計は特徴量から差別的な手がかりを抽出することに優れています。これにより最終的な追跡性能が向上します。当手法の有効性を定量的に評価するために、2つの多モーダル追跡タスク、3つのベースライン手法、および3つの挑戦的なベンチマークにおける広範な実験を行いました。実験結果は、提案された生成モデルに基づく融合メカニズムが最先端の性能を達成し、LasHeRおよびRGBD1Kで新しい記録を樹立していることを示しています。