摘要
多传感器感知对于保障自动驾驶系统的可靠性与准确性至关重要，而多目标跟踪（Multi-Object Tracking, MOT）则通过追踪动态目标的时序运动进一步提升了系统性能。目前大多数多传感器多目标跟踪方法要么因过度依赖单一输入源（如中心摄像头）而缺乏可靠性，要么因在后处理阶段融合多传感器结果，未能充分挖掘各传感器的内在信息，导致精度不足。针对这一问题，本文提出一种通用的、传感器无关的多模态多目标跟踪框架（mmMOT），其中每种模态（即各类传感器）均可独立完成其功能，以保障系统的可靠性，并通过一种新颖的多模态融合模块进一步提升跟踪精度。所提出的mmMOT支持端到端训练，能够联合优化各模态的基础特征提取器以及跨模态邻接关系估计器。此外，本工作首次在多目标跟踪的数据关联过程中引入点云深度表示的编码机制，显著增强了对复杂场景的理解能力。我们在具有挑战性的KITTI基准数据集上进行了大量实验，验证了所提框架的有效性，并取得了当前最优的性能表现。相关代码与模型已开源，地址为：https://github.com/ZwwWayne/mmMOT。