基于单相机的深度学习检测与PMBM滤波实现三维多目标跟踪

单目相机是自动驾驶汽车中最为常用的传感器之一。然而，使用单目相机的一个主要缺点是它只能在二维图像平面上进行观测，无法直接测量物体的距离。本文旨在通过开发一种多目标跟踪算法来弥补这一不足，该算法以图像作为输入，在世界坐标系中生成检测到的物体轨迹。我们通过训练一个深度神经网络来解决这一问题，该网络能够从单一输入图像中检测并估计物体的距离。从一系列图像中获得的检测结果被输入到最先进的泊松多伯努利混合（Poisson multi-Bernoulli mixture, PMBM）跟踪滤波器中。学习得到的检测器与PMBM滤波器相结合，形成了一种仅使用单目相机图像作为输入即可实现三维跟踪的算法。该算法的性能在三维世界坐标和二维图像坐标下均进行了评估，使用的数据集为公开可用的KITTI目标跟踪数据集。实验结果表明，该算法能够准确地跟踪物体，并正确处理数据关联问题，即使在图像中物体有较大重叠的情况下也能表现良好。此外，该算法在KITTI目标跟踪基准测试中处于领先水平。进一步地，该算法效率较高，平均运行速度接近每秒20帧。