CFA: 일반화된 소수 샘플 객체 탐지를 위한 제약 기반 미세 조정 방법

소수 샘플 객체 탐지(Few-shot object detection, FSOD)는 풍부한 기본 클래스 데이터로부터의 사전 지식을 활용하여 제한된 데이터로 새로운 클래스를 탐지하는 것을 목표로 한다. 일반화된 소수 샘플 객체 탐지(Generalized few-shot object detection, G-FSOD)는 기존에 학습한 기본 클래스를 잊지 않으면서 FSOD 문제를 해결하려는 목표를 지닌다. 이는 테스트 시점에 기본 클래스와 새로운 클래스 모두를 동시에 다뤄야 하는 더 현실적인 시나리오를 반영한다. 현재의 FSOD 방법들은 치명적인 잊힘(catastrophic forgetting) 문제에 시달리고 있으나, G-FSOD는 이러한 문제를 해결하긴 하나, 최첨단 FSOD 방법에 비해 새로운 태스크에서 성능 저하를 보인다. 본 연구에서는 모델 용량 증가 없이 치명적인 잊힘을 완화하면서도 새로운 태스크에서 경쟁력 있는 성능을 달성하는 제약 기반 미세조정 방법(CFA: Constraint-based Finetuning Approach)을 제안한다. CFA는 지속적 학습 기법인 평균 기울기 에피소딕 메모리(Average Gradient Episodic Memory, A-GEM)를 G-FSOD에 적응시킨다. 구체적으로, 기존의 기울기 탐색 전략에 더 강한 제약을 도입함으로써 새로운 기울기 업데이트 규칙을 도출하였으며, 이는 기본 클래스와 새로운 클래스 간의 지식 공유를 더욱 효과적으로 가능하게 한다. 제안한 방법의 성능을 평가하기 위해 MS-COCO 및 PASCAL-VOC 데이터셋에서 광범위한 실험을 수행하였다. 그 결과, CFA는 새로운 태스크에서 기존 FSOD 및 G-FSOD 방법들을 모두 능가하며, 기본 태스크에서는 미미한 성능 저하만을 보였다. 또한 CFA는 기존 FSOD 방법들과 독립적이며, 모델 용량이나 추론 시간의 증가 없이 플러그 앤 플레이 모듈로 활용 가능하다.