HyperAIHyperAI

Command Palette

Search for a command to run...

OneTracker: 視覚的オブジェクト追跡を統合する基盤モデルと効率的なチューニング

概要

視覚物体追跡は、最初のフレームでの初期姿から各フレームにおける目標物体を局在化することを目指しています。入力モダリティに応じて、追跡タスクはRGB追跡とRGB+X(例:RGB+N、RGB+D)追跡に分類されます。異なる入力モダリティにもかかわらず、追跡の核心的な側面は時間的なマッチングです。この共通点に基づいて、我々は様々な追跡タスクを統一する一般的なフレームワークを提案します。これをOneTrackerと呼びます。OneTrackerはまず、Foundation Trackerと呼ばれるRGB追跡器で大規模な事前学習を行います。この事前学習フェーズにより、Foundation Trackerには目標物体の位置を安定して推定する能力が備わります。次に、他のモダリティ情報をプロンプトとして扱い、Foundation Trackerの上にPrompt Trackerを構築します。Foundation Trackerを凍結し、一部の追加学習可能なパラメータのみを調整することで、Prompt TrackerはFoundation Trackerからの強力な局在化能力を抑制し、下流のRGB+X追跡タスクに対するパラメータ効率的な微調整を実現します。我々の一般的なフレームワークOneTracker(Foundation TrackerとPrompt Trackerから構成)の有効性を評価するために、11つのベンチマークにわたる6つの人気のある追跡タスクで広範な実験を行いました。その結果、OneTrackerは他のモデルを上回り、最先端の性能を達成しました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
OneTracker: 視覚的オブジェクト追跡を統合する基盤モデルと効率的なチューニング | 記事 | HyperAI超神経