Salience DETR：通过层次显著性过滤优化增强检测Transformer

DETR 类方法在端到端检测性能方面取得了显著提升。这些方法的主要两阶段框架执行密集自注意力机制，并选择一部分查询进行稀疏交叉注意力机制，这已被证明对提高性能有效，但同时也引入了沉重的计算负担和对稳定查询选择的高度依赖。本文指出，次优的两阶段选择策略由于所选查询与目标对象之间的不匹配，导致了尺度偏差和冗余问题。为了解决这些问题，我们提出了一种分层显著性过滤精炼方法，该方法仅对过滤后的判别性查询执行 Transformer 编码，从而在计算效率和精度之间取得更好的平衡。过滤过程通过一种新颖的尺度无关显著性监督机制克服了尺度偏差。为了补偿查询之间的语义错位，我们引入了精心设计的查询精炼模块以实现稳定的两阶段初始化。基于上述改进，提出的 Salience DETR 在三个具有挑战性的任务特定检测数据集上分别实现了 +4.0% AP、+0.2% AP 和 +4.4% AP 的显著性能提升，并且在 COCO 2017 数据集上以较少的浮点运算次数（FLOPs）达到了 49.2% AP。代码可在 https://github.com/xiuqhou/Salience-DETR 获取。