Salience DETR: 계층적 주목 필터링 정제를 통한 감지 트랜스포머 개선

DETR와 유사한 방법들이 엔드 투 엔드 방식으로 감지 성능을 크게 향상시켰습니다. 이들 중 주류인 두 단계 프레임워크는 밀집된 자기 주의(self-attention)를 수행하고, 일부 쿼리를 선택하여 희소 교차 주의(sparse cross-attention)를 적용하는데, 이는 성능 향상을 위해 효과적이지만 동시에 큰 계산 부담과 안정적인 쿼리 선택에 대한 높은 의존성을 초래합니다. 본 논문에서는 선택된 쿼리와 객체 간의 불일치로 인해 두 단계 초기화에서 크기 편향(scale bias)과 중복이 발생하는 것을 보여주며, 이를 해결하기 위해 계산 효율성과 정밀도 사이에서 더 나은 균형을 이루는 필터링된 차별적 쿼리에만 트랜스포머 인코딩을 수행하는 계층적 주목도 필터링 정제(hierarchical salience filtering refinement) 방법을 제안합니다. 필터링 과정은 새로운 크기 독립적인 주목도 감독(scale-independent salience supervision)을 통해 크기 편향을 극복합니다. 쿼리 간 의미적 일치성 부족을 보완하기 위해 안정적인 두 단계 초기화를 위한 세심한 쿼리 정제 모듈(query refinement modules)을 도입하였습니다. 이러한 개선 사항들을 바탕으로 제안된 Salience DETR는 세 가지 어려운 태스크 특화 감지 데이터셋에서 각각 +4.0% AP, +0.2% AP, +4.4% AP의 성능 향상을 달성하였으며, COCO 2017에서도 적은 FLOPs로 49.2% AP를 기록하였습니다. 코드는 https://github.com/xiuqhou/Salience-DETR에서 확인할 수 있습니다.