联合单目3D车辆检测与跟踪

车辆的三维尺寸和轨迹是预测其未来位置以及基于这些预测规划未来自主体运动的关键线索。在本文中，我们提出了一种新颖的在线框架，用于从单目视频中进行三维车辆检测和跟踪。该框架不仅能够随时间关联移动中的车辆检测结果，还能从移动平台上捕获的一系列二维图像中估计出它们完整的三维边界框信息。我们的方法利用了三维边界框深度排序匹配来实现稳健的实例关联，并利用三维轨迹预测来重新识别被遮挡的车辆。此外，我们还设计了一个基于LSTM（长短期记忆网络）的运动学习模块，以实现更精确的长期运动外推。我们在仿真数据集、KITTI和Argoverse数据集上的实验表明，我们的三维跟踪流水线提供了稳健的数据关联和跟踪性能。特别是在Argoverse数据集上，我们的基于图像的方法在30米范围内的三维车辆跟踪效果显著优于以LiDAR为中心的基线方法。