JRMOT：一种实时三维多目标追踪方法及一个新的大规模数据集

自主导航的机器人需要感知并追踪周围环境中物体及其他智能体的运动状态。这些信息对于规划和执行鲁棒且安全的运动轨迹至关重要。为实现这一目标，运动信息应在三维笛卡尔空间中进行感知。然而，目前大多数多目标跟踪（Multi-Object Tracking, MOT）研究主要集中于在二维RGB视频序列中对人和移动物体进行追踪。本文提出了一种新型的3D多目标跟踪系统——JRMOT，该系统融合RGB图像与三维点云信息，实现了实时、领先水平的跟踪性能。JRMOT系统基于最新的神经网络架构，集成了重识别（re-identification）、2D与3D目标检测以及轨迹描述等功能，并将其统一嵌入到一个多模态递归卡尔曼滤波框架中的联合概率数据关联机制中。作为本研究的重要组成部分，我们发布了JRDB数据集——一个全新的大规模2D+3D数据集与基准测试平台。该数据集涵盖54个室内外场景，共标注超过200万个边界框及3500条时间一致的2D+3D轨迹。JRDB包含超过60分钟的高质量数据，包括360度柱状RGB视频和三维点云数据，数据采集于社交场景，用于JRMOT系统的开发、训练与评估。所提出的3D多目标跟踪系统在主流的2D跟踪基准KITTI上表现出领先于现有方法的性能，并首次为JRDB基准提供了完整的3D跟踪解决方案。在社交机器人JackRabbot上的真实机器人测试表明，该系统能够快速、可靠地同时追踪多个行人。相关ROS代码已开源，可通过以下网址获取：https://sites.google.com/view/jrmot。