HyperAIHyperAI

Command Palette

Search for a command to run...

効率的なRGB-T追跡のための統一された単段階トランスフォーマーネットワーク

概要

既存のRGB-T追跡ネットワークの多くは、モダリティ特徴を個別に抽出する方法を採用しており、これによりモダリティ間での相互作用や相互ガイダンスが欠けています。この制限により、ネットワークは目標の多様な双モダリティ外観やモダリティ間の動的な関係性への適応能力が制限されます。さらに、これらのネットワークが採用している三段階融合追跡パラダイムは、追跡速度を大幅に制限しています。これらの問題を克服するために、我々は統一された単段階Transformer RGB-T追跡ネットワークであるUSTrackを提案します。このネットワークは、自己注意機構を通じてテンプレートと探索領域の融合特徴をモダリティ間での相互作用のもとで抽出できるよう、上記の三つの段階を単一のViT(Vision Transformer)バックボーンと双方向埋め込み層に統合します。この構造により、ネットワークはこれらの特徴間で関係モデル化を行い、予測のためにより優れた目標-背景識別力を有する探索領域の融合特徴を効率的に取得できます。また、無効なモダリティによる予測への影響を軽減し、追跡性能をさらに向上させるために、モダリティ信頼度に基づく新しい特徴選択メカニズムを導入しました。三つの主要なRGB-T追跡ベンチマークにおける広範な実験結果から、当手法が最新の最先端性能を達成しつつ最速の推論速度84.2FPS(フレーム毎秒)を維持することが示されています。特にVTUAVデータセットの短期および長期サブセットにおいてMPR/MSR(Mean Precision Rate/Mean Success Rate)がそれぞれ11.1% / 11.7% および 11.3% / 9.7% 上昇しました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
効率的なRGB-T追跡のための統一された単段階トランスフォーマーネットワーク | 記事 | HyperAI超神経