최근 데이터-텍스트 생성은 그 광범위한 응용 분야로 인해 많은 관심을 받고 있습니다. 기존 방법들은 다양한 작업에서 뛰어난 성능을 보여주었습니다. 그러나 각 작업에 대해 상당량의 라벨된 데이터에 의존하고 있어, 이는 획득 비용이 많이 들기 때문에 새로운 작업과 영역으로의 확장에 제약을 주고 있습니다. 본 논문에서는 이러한 문제를 해결하기 위해 사전 학습(pre-training)과 전이 학습(transfer learning)을 활용하는 방안을 제시합니다. 우리는 지식 기반 사전 학습(Knowledge-Grounded Pre-Training, KPGT)을 제안하는데, 이는 두 부분으로 구성됩니다. 1) 일반적인 지식 기반 생성 모델로 지식이 풍부한 텍스트를 생성합니다. 2) 웹에서 크롤링한 대규모 지식 기반 텍스트 코퍼스에서 사전 학습 패러다임을 구축합니다. 사전 학습된 모델은 다양한 데이터-텍스트 생성 작업에서 세부적으로 조정(fine-tuning)되어 작업 특화 텍스트를 생성할 수 있습니다. 우리는 완전 감독(fully-supervised), 제로샷(zero-shot), 소수 샷(few-shot) 설정 세 가지를 통해 이 모델의 효과성을 평가하였습니다. 완전 감독 설정 하에서는 알려진 베이스라인 모델들보다 눈에 띄게 우수한 성능 향상을 달성하였습니다. 제로샷 설정 하에서는 어떤 예제도 보지 않은 상태에서도 WebNLG에서 30 이상의 ROUGE-L 점수를 얻었으며, 다른 모든 베이스라인 모델들이 실패한 반면 ours는 성공하였습니다. 소수 샷 설정 하에서는 베이스라인 모델들과 동일한 수준의 성능을 달성하기 위해 필요한 라벨된 예제의 수가 약 15분의 1 정도밖에 되지 않았습니다. 이러한 실험들은 일관되게 우리 프레임워크의 강력한 일반화 능력을 증명하고 있습니다. https://github.com/wenhuchen/KGPT