データからテキストへの生成（Data-to-text generation）は、その幅広い応用可能性により最近大きな関心を集めています。既存の手法は様々なタスクで印象的な性能を示していますが、各タスクに対して大量のラベル付きデータに依存しており、これが新たなタスクやドメインへの適用を制限しています。本論文では、この問題を解決するために事前学習と転移学習を活用することを提案します。我々が提案する知識基盤型事前学習（Knowledge-Grounded Pre-Training: KPGT）は、以下の2つの部分から構成されています。1) 一般的な知識基盤型生成モデルを使用して、知識豊富なテキストを生成します。2) ウェブからクロールした大規模な知識基盤型テキストコーパス上で事前学習を行うパラダイムです。事前学習済みモデルは、様々なデータからテキストへの生成タスクに対して微調整され、タスク固有のテキストを生成することができます。我々は完全教師あり設定（fully-supervised）、ゼロショット設定（zero-shot）、ファーソット設定（few-shot）の3つのシナリオでその効果を評価しました。完全教師あり設定では、既知のベースラインモデルに対して著しい改善が見られました。ゼロショット設定では、当該モデルが例を見ることなくWebNLGで30以上のROUGE-Lスコアを達成し、他のすべてのベースラインモデルが失敗しました。ファーソット設定では、当該モデルはベースラインモデルと同じレベルの性能を達成するために約5分の1程度のラベル付き例しか必要としませんでした。これらの実験結果は一貫して、我々が提案するフレームワークの強力な汎化能力を証明しています。https://github.com/wenhuchen/KGPT