쿼리 기반 객체 탐지의 향상된 훈련을 위한 선택적 쿼리 재수집

이 논문은 쿼리 기반 객체 탐지기에서 중간 단계에서는 올바르게 예측하지만, 마지막 디코딩 단계에서 오류를 발생시키는 현상을 조사한다. 우리는 학습 과정을 검토한 결과, 이 간과된 현상의 원인으로 두 가지 제약을 지적한다: 학습 시 강조 부족과 디코딩 순서에 따른 오류의 누적이다. 이를 해결하기 위해 쿼리 기반 객체 탐지기용 간단하면서도 효과적인 학습 전략인 선택적 쿼리 재수집(Selective Query Recollection, SQR)을 제안한다. SQR은 디코딩 단계가 깊어질수록 중간 단계의 쿼리를 누적하여, 순차적 구조를 벗어나 하류 단계로 선택적으로 전달한다. 이를 통해 SQR은 후단 단계에 대한 학습 강조를 높이고, 후단 단계가 이전 단계의 중간 쿼리를 직접 활용할 수 있도록 한다. SQR은 다양한 쿼리 기반 객체 탐지기에 쉽게 통합 가능하며, 추론 파이프라인은 그대로 유지하면서 성능을 크게 향상시킨다. 실험 결과, 다양한 설정(백본 아키텍처, 쿼리 수, 학습 스케줄)에서 Adamixer, DAB-DETR, Deformable-DETR에 SQR을 적용했을 때 일관되게 1.4~2.8 AP의 성능 향상이 나타났다.