다이퍼렌시블 프롬프트는 사전 훈련된 언어 모델을 더 나은 소수 샘플 학습자로 만든다

대규모 사전 학습 언어 모델은 소수 샘플 학습자(few-shot learner)로서 뛰어난 능력을 보여줌으로써 자연어 처리 분야에 크게 기여해왔다. 그러나 이러한 모델의 효과성은 주로 모델 파라미터의 확장과 프롬프트 설계에 의존하므로, 대부분의 실제 응용 분야에 구현하는 데 한계가 있다. 본 연구는 소규모 언어 모델을 프롬프트 엔지니어링 없이 더 나은 소수 샘플 학습자로 전환할 수 있는 새로운 플러그형, 확장 가능하고 효율적인 접근법인 DifferentiAble pRompT(DART)를 제안한다. 이 접근법의 핵심 원리는 잠재적인 자연어 처리 과제를 사전 학습된 언어 모델의 작업으로 재정의하고, 역전파(backpropagation)를 통해 프롬프트 템플릿과 타겟 레이블을 동시에 미분적으로 최적화하는 것이다. 더불어 제안된 방법은 (i) 어떤 사전 학습된 언어 모델에도 쉽게 통합될 수 있으며, (ii) 광범위한 분류 과제에 확장 가능하다. 표준 자연어 처리 과제에 대한 종합적인 평가 결과, 제안된 방법이 더 우수한 소수 샘플 성능을 달성함을 확인할 수 있었다. 코드는 https://github.com/zjunlp/DART 에서 공개되어 있다.