摘要
使用多个RGB摄像头进行三维人群跟踪是一项极具挑战性的任务。以往大多数多摄像头跟踪算法均针对离线场景设计，计算复杂度较高，难以满足实时性要求。因此，实现鲁棒的实时多摄像头三维人群跟踪仍是尚未解决的难题。本文提出一种新型端到端跟踪框架——深度多摄像头跟踪（Deep Multi-Camera Tracking, DMCT），实现了高效可靠的实时多摄像头人群跟踪。DMCT系统包含四个核心组件：1）一种快速且新颖的视角感知深度地平面点网络（Perspective-Aware Deep GroundPoint Network）；2）用于地平面占用热图估计的融合机制；3）一种新型的深度瞥视网络（Deep Glimpse Network），用于人体检测；4）一种快速且精确的在线跟踪器。该设计充分利用深度神经网络的能力，精确估计每一幅彩色图像中每个人的“地平面点”（ground point），并可优化以实现高效、鲁棒的运行。通过融合机制、瞥视网络与跟踪器，系统能够整合多视角信息，利用多帧视频数据识别行人候选区域，并在融合后的地平面热图上实现持续跟踪。实验结果表明，该系统在保持实时性能的同时，达到了当前最先进的跟踪精度。除了在具有挑战性的WILDTRACK数据集上进行评估外，我们还分别在两种不同环境与摄像头配置下，收集了两个高质量标注的跟踪数据集。实验结果充分验证了所提出的实时跟踪框架在性能上显著优于现有方法。