トランスフォーマーを用いたマルチオブジェクトトラッキングにおける対照学習

DEtection TRansformer（DETR）は、画像特徴をオブジェクトレベルの表現に変換する翻訳タスクとして物体検出をモデル化することで、物体検出の新たな可能性を切り開いた。従来の手法では、Multi-Object Tracking（MOT）を実現するためにDETRに高コストなモジュールを追加する傾向にあり、その結果、アーキテクチャが複雑化していた。本研究では、インスタンスレベルの対照的損失（instance-level contrastive loss）、見直されたサンプリング戦略、および軽量な割り当て手法を用いることで、DETRをMOTモデルに変換する方法を提示する。提案する学習スキームは、物体の外観を学習しつつ検出性能を維持し、追加コストは極めて小さい。その性能は、難易度の高いBDD100Kデータセットにおいて、従来の最先端手法を+2.6 mMOTAで上回り、MOT17データセットでは既存のTransformerベースの手法と同等の性能を達成している。