Entailment as Few-Shot Learner 소수 샷 학습자로서의 엔테일먼트

대형 사전 학습 언어 모델(LMs)은 소수 샷 학습자(few-shot learners)로서 뛰어난 능력을 보여주었습니다. 그러나 이들의 성공은 모델 매개변수를 확장하는 것에 크게 의존하여, 이를 훈련시키고 서비스하는 것이 어려워집니다. 본 논문에서는 소형 LMs을 더 나은 소수 샷 학습자로 변환할 수 있는 새로운 접근 방식인 EFL(Enhanced Few-shot Learning)을 제안합니다. 이 접근 방식의 핵심 아이디어는 잠재적인 NLP 작업을 함의(entailment) 작업으로 재구성한 후, 최소 8개의 예제로 모델을 미세 조정(fine-tune)하는 것입니다. 우리는 제안된 방법이 다음과 같이 적용될 수 있음을 추가로 입증하였습니다: (i) 비지도 대조학습(contrastive learning)-기반 데이터 증강 방법과 자연스럽게 결합될 수 있으며; (ii) 다국어 소수 샷 학습으로 쉽게 확장될 수 있습니다. 18개 표준 NLP 작업에 대한 체계적인 평가 결과, 이 접근 방식은 기존의 다양한 최신(SOTA) 소수 샷 학습 방법들을 12% 개선하였으며, GPT-3와 같은 500배 더 큰 모델들과 경쟁력 있는 소수 샷 성능을 보여주었습니다.