HyperAIHyperAI

Command Palette

Search for a command to run...

マルチモーダル追跡のためのプロンプト

Jinyu Yang Zhe Li Feng Zheng* Aleš Leonardis Jingkuan Song

概要

多モーダル追跡は、従来のRGBベースの追跡と比較して複雑なシナリオでより正確かつ堅牢であるため注目を集めています。その鍵は、多モーダルデータを融合し、モーダル間のギャップを縮小する方法にあります。しかし、多モーダル追跡は依然としてデータ不足により深刻な影響を受け、これにより融合モジュールの学習が不十分となっています。本論文では、このような融合モジュールを構築する代わりに、多モーダル視覚プロンプトへの重要性に焦点を当てることで、多モーダル追跡に関する新しい視点を提供します。私たちは新たな多モーダルプロンプト追跡器(ProTrack)を設計しました。このProTrackは、プロンプトパラダイムによって多モーダル入力を単一のモーダルに変換することができます。大規模な事前学習RGB追跡器の追跡能力を最大限に活用することで、ProTrackは多モーダルデータに対する追加学習なしに入力のみを変更することで高性能な多モーダル追跡を達成できます。5つのベンチマークデータセットでの広範な実験により、提案されたProTrackの有効性が示されています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています