密集独立查询用于端到端目标检测

在目标检测中，一对一标签分配机制成功消除了对非极大值抑制（NMS）作为后处理步骤的需求，实现了端到端的检测流程。然而，这一方法也带来了新的挑战：广泛采用的稀疏查询无法保证高召回率，而密集查询则不可避免地引入大量相似查询，导致优化困难。由于稀疏与密集查询均存在缺陷，那么在端到端目标检测中，理想的查询应具备何种特性？本文提出，解决方案应为密集独立查询（Dense Distinct Queries, DDQ）。具体而言，我们首先像传统检测器一样初始化密集查询，随后从中筛选出具有区分性的查询用于一对一标签分配。DDQ融合了传统检测器与近期端到端检测器的优势，在多种检测器（包括FCN、R-CNN和DETR）上均显著提升了性能。尤为突出的是，DDQ-DETR在使用ResNet-50主干网络的情况下，仅用12个训练周期便在MS-COCO数据集上达到52.1 AP，超越了当前所有同类设置下的现有检测器。此外，DDQ在密集场景下同样展现出端到端检测器的优势，在CrowdHuman数据集上取得了93.8 AP的优异表现。我们期望DDQ能够启发研究者重新思考传统方法与端到端检测器之间的互补性。项目源代码可访问：\url{https://github.com/jshilong/DDQ}。