2ヶ月前

検出されたすべてを関連付ける:未知の追跡への検出の促進

Zimeng Fang; Chao Liang; Xue Zhou; Shuyuan Zhu; Xi Li
検出されたすべてを関連付ける:未知の追跡への検出の促進
要約

多目的追跡(MOT)は、コンピュータビジョン分野において重要な役割を果たし、非常に有望な研究領域として注目されています。従来の閉じた語彙のMOT(CV-MOT)手法は、事前に定義されたカテゴリの物体を追跡することを目指しています。最近では、オープン語彙のMOT(OV-MOT)手法が未知のカテゴリの物体追跡問題に成功して対処しています。しかし、我々はCV-MOTとOV-MOTの手法がそれぞれ相手方のタスクで優れた成果を上げるのが難しいことを発見しました。本論文では、任意の既存検出器と統合し、未知のカテゴリもサポートする統一的なフレームワーク「Associate Everything Detected(AED)」を提案します。既存の検出ベースのMOT手法とは異なり、AEDは事前知識(例:運動情報)に頼らず、高度に堅牢な特徴学習のみを使用してOV-MOTタスクにおける複雑な軌道を処理しながら、CV-MOTタスクでも優れた性能を維持します。具体的には、関連付けタスクを類似度デコーディング問題としてモデル化し、関連付けを中心とした学習メカニズムを持つsim-decoderを提案します。sim-decoderは空間的、時間的、およびクロスクリップ間の3つの観点から類似度を計算します。その後、関連付けを中心とした学習はこれらの三重の類似度を利用し、抽出された特徴量が継続的な追跡に適しており、未知のカテゴリにも十分に一般化できるように確保します。既存の強力なOV-MOTおよびCV-MOT手法と比較して、AEDは事前知識なしでTAO, SportsMOT, およびDanceTrackで優れた性能を達成しています。我々のコードは https://github.com/balabooooo/AED で公開されています。

検出されたすべてを関連付ける:未知の追跡への検出の促進 | 最新論文 | HyperAI超神経