HyperAIHyperAI

Command Palette

Search for a command to run...

ODTrack: オンラインでの視覚追跡のための密集時系列トークン学習

Yaozong Zheng Bineng Zhong* Qihua Liang Zhiyi Mo Shengping Zhang Xianxian Li

概要

連続するビデオフレーム間でのオンライン文脈推論と関連付けは、視覚追跡におけるインスタンスの認識に不可欠です。しかし、現在の最高性能を誇るトラッカーの多くは、リファレンスフレームとサーチフレーム間の疎な時間的関係に依存し、オフラインモードで動作しています。その結果、各画像ペア内で独立してしか相互作用できず、限られた時間的相関関係しか確立できません。この問題を緩和するために、私たちは単純で柔軟かつ効果的なビデオレベルの追跡パイプラインを提案します。これを\textbf{ODTrack}と呼びます。\textbf{ODTrack}は任意の長さのビデオフレームを受け取り、インスタンスの空間時間的軌道関係を捉えます。また、ターゲットの識別特徴(位置情報)をトークンシーケンスに圧縮することで、フレーム間での関連付けを実現します。この新しいソリューションは以下の利点をもたらします:1) 純粋化されたトークンシーケンスが次のビデオフレームでの推論のプロンプトとして機能し、過去の情報を活用して将来の推論をガイドすることができます;2) トークンシーケンスの反復伝播により複雑なオンライン更新戦略が効果的に回避され、より効率的なモデル表現と計算が可能になります。\textbf{ODTrack}は7つのベンチマークで新たな\textit{SOTA}(State of the Art)性能を達成しつつ、リアルタイム速度で動作します。コードとモデルは\url{https://github.com/GXNU-ZhongLab/ODTrack}から入手可能です


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています