LM-CPPF: 대조적 프롬프트 기반 소량 미세 조정을 위한 패러프레이징 안내 데이터 증강

최근 몇 년간 자연어 처리(NLP)를 위한 사전 학습 언어 모델의 개발에 상당한 진전이 이루어졌습니다. 그러나 이러한 모델은 작은 데이터셋으로 미세 조정(fine-tuning)될 때 종종 어려움을 겪습니다. 이 문제를 해결하기 위해 연구자들은 다양한 적응 접근법을 제안해 왔습니다. 프롬프트 기반 미세 조정은 특히 큰 모델에서 가장 일반적인 방법 중 하나입니다. 과거 연구에서는 프롬프트 기반 미세 조정에 대조적 학습(contrastive learning)을 추가하는 것이 효과적이라고 보여주었습니다. 이는 클래스 간의 구분이 더 명확한 임베딩 생성을 돕고, 모델이 동시에 긍정적 및 부정적 예제로부터 학습하기 때문에 샘플 효율성이 높아질 수 있기 때문입니다. 대조적 학습의 가장 중요한 구성 요소 중 하나는 데이터 증강(data augmentation)이지만, 컴퓨터 비전과 달리 NLP에서 효과적인 데이터 증강은 여전히 도전적인 과제입니다.본 논문에서는 LM-CPPF(LM: Language Model, CPPF: Contrastive Paraphrasing-guided Prompt-based Fine-tuning of Language Models), 즉 생성형 언어 모델, 특히 GPT-3와 OPT-175B와 같은 큰 언어 모델을 활용한 프롬프트 기반 소수 샷 패러프레이징을 통해 데이터 증강을 수행하는 방법을 제안합니다. 여러 텍스트 분류 벤치마크에 대한 실험 결과, 이 증강 방법은 쉬운 데이터 증강, 역 번역(back translation), 다중 템플릿(multiple templates) 등 다른 방법들보다 우수한 성능을 보임을 확인할 수 있었습니다.