2ヶ月前

エンドツーエンドと非エンドツーエンドの多目的追跡のギャップを埋める

Feng Yan; Weixin Luo; Yujie Zhong; Yiyang Gan; Lin Ma
エンドツーエンドと非エンドツーエンドの多目的追跡のギャップを埋める
要約

既存のエンドツーエンド多目的追跡(e2e-MOT)手法は、非エンドツーエンドの検出による追跡手法を上回っていない。その潜在的な理由の一つとして、訓練中に追跡対象を追跡クエリと一貫して結びつけ、その後新規対象を検出クエリに割り当てるラベル割り当て戦略が挙げられる。1対1の二部マッチングにより、このような割り当ては検出クエリに対する陽性サンプルが不足するという不均衡な訓練をもたらす可能性がある。特に閉鎖的なシーンでは、ビデオの開始時に大多数の新規対象が登場するため、この傾向が強まる。したがって、他の検出による追跡手法と比較して、e2e-MOTは更新や再初期化なしで追跡終端を生成しやすくなる。この問題を緩和するために、我々はCo-MOTを提案する。これは新しい協調競争ラベル割り当て戦略とシャドウ概念を使用してe2e-MOTを促進する単純かつ効果的な方法である。具体的には、中間デコーダーの訓練におけるラベル割り当てを行う際に、検出クエリのマッチング対象に追跡対象を加える。また、クエリ初期化においては、各クエリに対して自己への影響を最小限に抑えた一連のシャドウカウンターパートを拡張する。広範なアブレーション研究を通じて、Co-MOTは余分なコストなしで優れた性能を達成しており、例えばDanceTrackでのHOTAスコア69.4%やBDD100KでのTETAスコア52.8%となっている。驚くべきことに、Co-MOTはMOTRv2の38%のFLOPsのみで同程度の性能を得ることができ、推論速度が1.4倍速くなっている。注:- 「FLOPs」(Floating Point Operations per Second):浮動小数点演算回数- 「HOTA」(Higher Order Tracking Accuracy):高次元追跡精度- 「TETA」(Tracking Efficiency and Temporal Accuracy):追跡効率と時間精度

エンドツーエンドと非エンドツーエンドの多目的追跡のギャップを埋める | 最新論文 | HyperAI超神経