摘要
大多数现代多目标跟踪（Multiple Object Tracking, MOT）系统遵循“检测后跟踪”（tracking-by-detection）范式，其结构通常由一个目标检测器和一种将检测结果关联为轨迹的算法组成。在目标跟踪领域，结合运动信息与外观特征以增强对遮挡及其他挑战的鲁棒性已有悠久历史，但这类方法通常伴随着模型复杂度增加和运行速度下降的代价。近期在主流2D跟踪基准上的成功表明，仅使用先进的检测器并结合相对简单的单帧空间偏移关联策略，即可取得顶尖性能——尤其值得注意的是，这类方法在性能上显著超越了那些依赖学习得到的外观特征来恢复丢失轨迹的现有技术。本文提出一种高效且统一的检测与跟踪联合模型，命名为DEFT（Detection Embeddings for Tracking）。该方法基于一个与底层目标检测网络联合训练的外观匹配网络，并引入长短期记忆网络（LSTM）以建模运动约束。DEFT在2D在线跟踪排行榜上的准确率与速度均达到当前顶尖水平，同时在处理更具挑战性的跟踪数据时展现出显著的鲁棒性优势。在nuScenes单目3D跟踪挑战中，DEFT将性能提升至此前最优方法的两倍以上，显著提升了该任务的性能上限。相关代码已公开发布。