다omain 간 few-shot 객체 검출을 위한 강화된 open-set 객체 검출기

이 논문은 도전적인 크로스-도메인 소수 샘플 객체 검출(CD-FSOD)을 연구하여, 최소한의 라벨링된 예제를 사용하여 새로운 도메인에서 정확한 객체 검출기를 개발하는 것을 목표로 합니다. 트랜스포머 기반 오픈셋 검출기(예: DE-ViT)는 전통적인 소수 샘플 객체 검출에서 잠재력을 보여주고 있지만, 이들의 CD-FSOD에 대한 일반화 능력은 아직 불분명합니다: 1) 이러한 오픈셋 검출 방법들이 CD-FSOD에 쉽게 일반화될 수 있을까요? 2) 그렇지 않다면, 큰 도메인 간 차이를 마주할 때 모델을 어떻게 강화할 수 있을까요?첫 번째 질문에 답하기 위해, 스타일, 클래스 간 분산(ICV), 그리고 정의되지 않은 경계(IB)와 같은 지표들을 사용하여 도메인 간 차이를 이해하려고 합니다. 이러한 지표들에 기반하여, 우리는 객체 검출 방법을 평가하기 위한 새로운 벤치마크인 CD-FSOD를 설립하였습니다. 이 벤치마크를 통해 대부분의 현재 접근법들이 도메인 간에서 일반화하지 못함을 밝혔습니다. 기술적으로, 우리는 성능 저하가 제안된 지표들: 스타일, ICV, 그리고 IB와 관련되어 있음을 관찰하였습니다.따라서, 이러한 문제들을 해결하기 위해 몇 가지 새로운 모듈을 제안합니다. 첫째, 학습 가능한 인스턴스 특징들은 초기 고정된 인스턴스들을 대상 카테고리와 일치시키며, 특징 구별성을 향상시킵니다. 둘째, 인스턴스 재가중 모듈은 약간의 IB를 가진 고품질 인스턴스들에게 더 높은 중요도를 할당합니다. 셋째, 도메인 프롬프터는 의미 내용을 변경하지 않고 상상적인 도메인을 합성하여 다양한 스타일에 견딜 수 있는 특징들을 장려합니다.이러한 기술들은 함께 크로스-도메인 비전 트랜스포머(CD-ViTO)의 개발에 기여하며, 기본 DE-ViT보다 크게 성능을 향상시킵니다. 실험 결과는 우리의 모델의 효과성을 확인해주고 있습니다.