소수 예제 학습(Few-Shot Learning)은 대규모 언어 모델 프롬프트에 소수의 예제를 제공하여 모델이 문맥 학습을 통해 현재 작업을 수행하도록 하는 방식으로, 일반적으로 모델 가중치를 업데이트하지 않습니다. 제로샷(zero-shot), 원샷(one-shot), 소수 예제(few-shot)은 프롬프트 내 예제 수에 따른 일반적인 구분을 나타냅니다. 주의할 점은, 광의의 소수 예제 학습에는 메타 학습, 파인 튜닝 등 훈련 또는 적응 방법들이 포함되며, 이들은 모두 인컨텍스트 학습(in-context learning)과 동일한 것은 아니라는 점입니다.

2020년, Brown 등은 논문 《Language Models are Few-Shot Learners》에서 GPT-3를 제시하며 이 접근법을 부각시켰습니다. 이 모델은 1750억 개의 매개변수를 가지고 있으며, 이는 이전 최대 비희소 언어 모델의 10배에 해당합니다. 모든 작업에서 그래디언트 업데이트나 파인 튜닝을 수행하지 않으며, 작업 설명과 예제는 순수하게 텍스트 형태로 프롬프트에 포함됩니다. 번역, 질의응답, 빈칸 채우기, 단어 순서 뒤섞기, 신조어 사용 등 즉석 추론이 필요한 작업에서 강력한 성능을 보였으며, 때로는 단일 작업에 정밀하게 파인 튜닝된 최신 기술 수준의 성능에 근접하기도 했습니다.

이는 동일한 모델이 서로 다른 프롬프트에서 명확하게 상이한 성능을 보이는 이유를 설명해 줍니다. 인컨텍스트 학습은 '예제를 어떻게 제시하느냐'에 매우 민감하기 때문입니다. 이 방식은 '작업마다 하나의 모델을 훈련하는 것'을 '하나의 모델이 프롬프트를 통해 모든 작업에 적응하는 것'으로 바꾸어 놓았으며, 이는 프롬프트 엔지니어링과 인컨텍스트 학습의 직접적인 탄생을 촉발했습니다. 한계 또한 명확합니다. 성능은 프롬프트 문구와 예제 선택에 민감하며, 예제의 선정과 배열 순서가 결과에 영향을 미칩니다. 또한 예제 수는 컨텍스트 윈도우의 제한을 받으며, 복잡한 추론 작업에는 여전히 보다 구조화된 방법이 필요합니다.