쿼리 기반 검출기의 소수 샘플 학습 능력을 향상시키는 균형 잡힌 ID-OOD 트레이드오프 전이

피셔-샷 객체 탐지(few-shot object detection, FSOD) 문제를 해결하기 위한 대표적인 접근 방식으로 피팅(fine-tuning)이 있다. 본 논문에서는 이 문제에 대해 새로운 관점을 제안한다. 우리는 피셔-샷 신규 작업(few-shot novel tasks)을 실제 분포로부터 분포 이동(distribution shift)이 발생한 형태로 모델링한다. 이 분포 이동이 본질적으로 내부 분포(in-distribution, ID)와 외부 분포(out-of-distribution, OOD)의 복합적 이동임을 보여주기 위해 가상의 플레이스홀더 마스크(imaginary placeholder masks) 개념을 도입한다. 실증적 연구 결과는, 사용 가능한 피셔-샷 분포에 적응하는 것과 사전 훈련 모델의 분포 이동에 대한 강건성(robustness)을 유지하는 것 사이의 균형을 맞추는 것이 매우 중요함을 시사한다. 본 연구에서는 피셔-샷 객체 탐지(FSOD) 환경에서 피팅 전이 성능을 개선하기 위해 세 가지 측면에서 탐구한다. 첫째, 특징 왜곡 문제를 완화하기 위해 특징 적응과 분포 이동 강건성 사이의 균형을 맞추는 데 목적이 있는 LinearProbe-Finetuning(LP-FT) 기법을 탐색한다. 둘째, 쿼리 기반 객체 탐지기(query-based object detectors)의 OOD 강건성을 유지하기 위해 보호적 프리징(protective freezing) 전략의 효과를 검토한다. 셋째, 특징 왜곡 문제를 회피하기 위해 앙상블(ensembling) 기법을 활용해보는 시도를 한다. 이러한 모든 기법은 하나의 통합된 방법인 BIOT(Balanced ID-OOD Transfer)로 통합된다. 평가 결과, 본 방법은 간단하면서도 효과적이며, 쿼리 기반 객체 탐지기의 FSOD 잠재력을 효과적으로 활용할 수 있음을 입증하였다. 다양한 FSOD 설정에서 현재 최고 성능(SOTA) 방법을 초월하며, 훌륭한 확장 가능성(scale-up capability)을 보이고 있다.