소수 샘플 기반 클래스 증분 학습(Few-Shot Class Incremental Learning, FSCIL)은 각 클래스에 대해 극히 적은 수의 샘플만 제공되는 조건에서 새로운 클래스를 지속적으로 학습하면서 기존 지식을 잊지 않는 모델의 능력을 요구하는 과제이다. FSCIL은 치명적인 기억 상실(catastrophic forgetting)과 과적합(overfitting)이라는 두 가지 주요 도전 과제에 직면해 있으며, 이러한 문제들은 기존 연구들이 주로 ResNet-18과 같은 얕은 모델에 의존하게 만들었다. 비록 이러한 모델의 제한된 표현 능력이 기억 상실과 과적합 문제를 어느 정도 완화할 수 있지만, 이는 소수 샘플 증분 학습 세션에서 지식 전이 능력이 부족하게 만든다. 본 논문에서는 대규모 데이터셋에서 사전 학습된 비전 및 언어 트랜스포머와 같은 대규모 모델이 소수 샘플 기반 증분 학습에 매우 효과적인 학습자임을 주장한다. 이를 위해 우리는 프롬프팅 기능과 지식 전이 기반의 새로운 FSCIL 프레임워크인 PriViLege(Pre-trained Vision and Language transformers with prompting functions and knowledge distillation)를 제안한다. 본 프레임워크는 새로운 사전 학습 지식 조정(Pre-trained Knowledge Tuning, PKT) 및 두 가지 손실 함수—엔트로피 기반 분산 손실(entropy-based divergence loss)과 의미론적 지식 전이 손실(semantic knowledge distillation loss)—을 통해 대규모 모델에서 발생하는 치명적인 기억 상실과 과적합 문제를 효과적으로 해결한다. 실험 결과, 제안하는 PriViLege는 기존 최고 성능(SOTA) 방법들에 비해 크게 우수한 성능을 보였으며, CUB200에서 +9.38%, CIFAR-100에서 +20.58%, miniImageNet에서 +13.36%의 성능 향상을 기록했다. 본 연구의 구현 코드는 다음 주소에서 공개되어 있다: https://github.com/KHU-AGI/PriViLege.