협력적 기초 모델을 통한 새로운 객체 검출 향상

본 연구에서는 새로운 객체 검출(NOD)이라는 도전적이고 급진적인 문제를 다루며, 추론 과정에서 알려진 객체 범주와 새로운 객체 범주를 정확히 검출하는 데 초점을 맞추고 있습니다. 전통적인 객체 검출 알고리즘은 본질적으로 폐쇄 집합(closed-set)이므로 NOD 처리 능력에 한계가 있습니다. 우리는 기존의 폐쇄 집합 검출기를 개방 집합(open-set) 검출기로 변환하는 새로운 접근 방식을 제시합니다. 이 변환은 CLIP과 SAM과 같은 사전 훈련된 기초 모델들의 보완적 강점을 우리의 협동 메커니즘을 통해 활용하여 이루어집니다. 또한, 이 메커니즘을 최신의 개방 집합 검출기인 GDINO와 통합함으로써 객체 검출 성능에서 새로운 기준을 설정하였습니다. 본 방법은 어려운 LVIS 데이터셋에서 새로운 객체 검출에 대해 17.42 mAP, 알려진 객체에 대해서는 42.08 mAP를 달성하였습니다. COCO OVD 분할에 우리의 접근 방식을 적용하면, 새로운 클래스에 대한 현재 최신 기술보다 7.2 $ \text{AP}_{50} $ 높은 성능을 보입니다. 우리의 코드는 https://rohit901.github.io/coop-foundation-models/ 에서 확인할 수 있습니다.