샘플링을 통한 다중 단계 작업 추출을 이용한 소수 샘플 클래스 증분 학습

우리가 살아가는 세계는 끊임없이 변화하기 때문에, 소셜 미디어에서의 새로운 주제나 전자상거래에서의 새로운 유형의 제품 등 새로운 클래스가 자주 등장한다. 모델은 새로운 클래스를 인식해야 할 뿐만 아니라 기존 클래스 간의 구분 능력도 유지해야 한다. 극한의 상황에서는 모델을 점진적으로 업데이트할 수 있는 새로운 클래스의 예시가 매우 제한적일 수 있다. 기존 클래스를 잊지 않으면서 소수의 예시만으로 새로운 클래스를 인식하는 이 과제는 소수 샘플 기반 점진적 클래스 학습(Few-shot Class-Incremental Learning, FSCIL)이라 불린다. 본 연구에서는 메타 학습 기반의 새로운 접근법을 제안한다. 이 접근법은 ‘다단계 점진적 작업 학습(LearnIng Multi-phase Incremental Tasks, LIMIT)’이라는 이름을 가지며, 기본 데이터셋에서 가짜(Fake) FSCIL 작업을 생성한다. 이 가짜 작업의 데이터 형식은 실제 점진적 작업과 일치하므로, 메타 학습을 통해 미리 보지 못한 작업에 대해 일반화 가능한 특징 공간을 구축할 수 있다. 또한 LIMIT는 트랜스포머 기반의 캘리브레이션 모듈을 설계하여, 기존 클래스의 분류기와 새로운 클래스의 프로토타입을 동일한 스케일로 조정하고 의미적 격차를 메운다. 캘리브레이션 모듈은 또한 집합-집합(set-to-set) 함수를 활용해 인스턴스별 임베딩을 적응형으로 문맥화한다. LIMIT는 새로운 클래스에 효율적으로 적응하면서도 기존 클래스에 대한 망각을 효과적으로 억제한다. CIFAR100, miniImageNet, CUB200 세 가지 벤치마크 데이터셋과 대규모 데이터셋인 ImageNet ILSVRC2012에서의 실험 결과를 통해 LIMIT가 최신 기술 수준(SOTA)의 성능을 달성함을 입증하였다.