基于选择性查询回忆的查询驱动目标检测增强训练

本文研究了一种现象：基于查询（query-based）的目标检测器在解码的最后阶段出现误预测，而在中间阶段却能正确预测。我们回顾了训练过程，发现这一被忽视的现象主要归因于两个局限：训练过程中对后期阶段的关注不足，以及解码序列中误差的级联传播。为此，我们设计并提出了一种简单而有效的训练策略——选择性查询回收（Selective Query Recollection, SQR），专用于基于查询的目标检测器。SQR在解码过程逐步深入的过程中，持续收集中间阶段的查询，并在不依赖传统顺序结构的前提下，有选择性地将这些中间查询传递至后续阶段。该机制使训练过程更聚焦于模型的后期阶段，同时允许后期阶段直接利用早期阶段的中间查询信息，从而提升推理能力。SQR可无缝集成到多种基于查询的目标检测器中，显著提升其性能，且无需修改推理流程。我们在Adamixer、DAB-DETR和Deformable-DETR等多种模型上，于不同设置（包括骨干网络、查询数量、训练调度策略等）下应用SQR，均取得了稳定且显著的性能提升，平均检测精度（AP）提升达1.4至2.8个百分点。