제약 있는 소량 샘플 클래스 증가 학습

기존 클래스에 대한 지식을 잊지 않으면서 새로운 데이터로부터 지속적으로 새로운 클래스를 학습하는 것은 매우 도전적인 연구 과제이다. 더욱이 이러한 학습은 다음과 같은 메모리 및 계산 제약 조건을 충족해야 한다: (i) 각 클래스당 학습 샘플이 단 몇 개로 제한되며, (ii) 새로운 클래스를 학습하는 데 드는 계산 비용이 일정하게 유지되어야 하며, (iii) 모델의 메모리 사용량은 관측된 클래스 수에 비례하여 최대 선형적으로 증가해야 한다. 위의 제약 조건을 충족하기 위해, 우리는 고정된 메타학습 특징 추출기, 학습 가능한 고정 크기의 완전 연결 계층, 그리고 등장한 클래스 수에 따라 동적으로 확장되며 다시 쓸 수 있는 메모리로 구성된 C-FSCIL을 제안한다. C-FSCIL은 새로운 클래스 학습의 정확도와 계산-메모리 비용 사이의 균형을 제공하는 세 가지 업데이트 모드를 제공한다. C-FSCIL은 초차원 임베딩(hyperdimensional embedding)을 활용하여 벡터 공간의 고정된 차원보다 훨씬 많은 클래스를 지속적으로 표현할 수 있으며, 간섭 최소화를 가능하게 한다. 또한 새로운 손실 함수를 통해 클래스 벡터 표현 간의 근사 직교성(quasi-orthogonality)을 강화함으로써 클래스 벡터 표현의 품질을 더욱 향상시킨다. CIFAR100, miniImageNet, Omniglot 데이터셋에서의 실험 결과, C-FSCIL은 기존의 베이스라인 대비 뛰어난 정확도와 압축 성능을 보였다. 또한 기존의 소수 샘플 설정에서 시도된 최대 규모의 문제에까지 확장되었으며, 1,200개의 기반 클래스 위에 423개의 새로운 클래스를 학습함에도 불구하고 정확도 저하가 1.6% 미만에 그쳤다. 코드는 다음 주소에서 공개되어 있다: https://github.com/IBM/constrained-FSCIL.