基于Transformer的多目标追踪对比学习

检测变换器（DETR）通过将目标检测建模为一种序列转换任务——将图像特征转换为对象级表示——开辟了新的可能性。以往的研究通常在DETR基础上添加昂贵的模块以实现多目标跟踪（MOT），导致模型架构更加复杂。本文提出了一种更为简洁的方案：通过引入实例级对比损失、改进的采样策略以及轻量级的匹配方法，将DETR直接转化为一个MOT模型。所提出的训练策略在保持原有检测能力的同时，学习对象外观特征，且计算开销极低。在具有挑战性的BDD100K数据集上，该方法的性能超越了此前的最先进水平，mMOTA指标提升2.6个百分点；在MOT17数据集上，其表现也与现有的基于Transformer的方法相当。