데이터에서 텍스트 생성 작업을 위한 텍스트-텍스트 사전 훈련

데이터 텍스트 생성 과제를 위한 사전 훈련 + 미세 조정 전략을 연구한다. 실험 결과, T5 형태의 텍스트-텍스트 사전 훈련은 데이터 텍스트 생성에 특화된 파이프라인 신경망 아키텍처뿐만 아니라 BERT나 GPT-2와 같은 대안적인 언어 모델 기반 사전 훈련 기법보다도 단순한 엔드투엔드 Transformer 기반 모델이 더 뛰어난 성능을 발휘하게 한다. 특히 T5 사전 훈련은 도메인 외 테스트 세트에서 큰 성능 향상을 보이며 더 우수한 일반화 능력을 제공함을 입증한다. 향후 데이터 텍스트 과제에서 전이 학습이 점점 더 보편화됨에 따라, 본 연구가 유용한 기준 기준선이 되기를 기대한다.