ProGen: 컨텍스트 기반 피드백을 통한 점진적 제로샷 데이터셋 생성

최근, 대규모 사전 훈련된 언어 모델(PLM)로부터 합성된 데이터셋을 사용하여 작업 특화 모델을 훈련시키는 데이터셋 생성 기반 제로샷 학습이 유망한 성과를 보이고 있다. 이러한 방법을 통해 얻어진 최종 작업 특화 모델은 제로샷 설정 하에서 파라미터 수가 수 orders of magnitude 적어도 PLM과 유사하거나 더 뛰어난 성능을 달성할 수 있다. 그러나 합성 데이터셋에는 여전히 몇 가지 단점이 존재한다. 오랫동안 낮은 품질 문제(예: 정보량 부족 및 중복성)에 시달려 왔다. 이는 인간 라벨링 데이터에서 기대할 수 있는 바와 달리, 막대한 양의 합성 데이터가 더 나은 성능을 이끌어내지 못하는 이유를 설명한다. 데이터셋 합성 품질을 향상시키기 위해, 본 연구에서는 작업 특화 모델의 피드백을 활용하여 문맥 내 예시(인컨텍스트 예시)를 통해 새로운 학습 데이터를 유도하는 점진적 제로샷 데이터셋 생성 프레임워크인 ProGen을 제안한다. 5개의 텍스트 분류 데이터셋을 대상으로 수행한 광범위한 실험을 통해 제안된 방법의 효과성을 입증하였다. 또한, 인컨텍스트 피드백 없이 동작하는 기존 기법 대비 단지 1%의 합성 데이터셋 크기만으로도 ProGen이 동등하거나 더 우수한 성능을 달성함을 보였다.