グラフからテキストへの生成は、事前学習言語モデル（PLM）の利用により、構造化されたグラフエンコーダーを上回る性能を達成しました。しかし、これらのモデルは入力グラフの構造情報を十分に活用できていません。本論文では、事前学習言語モデルの性能向上を目指し、2段階ファインチューニング機構を持つ構造化されたグラフからテキストへの生成モデルを提案します。この機構はまずウィキペディアでモデルをファインチューニングし、その後グラフからテキストへの生成に適応させます。従来のトークンと位置埋め込みを使用して知識グラフ（KG）を符号化するだけでなく、新たなツリーレベル埋め込み手法を提案し、入力グラフの相互依存構造を捉えます。この新しい手法により、英語版WebNLG 2017データセットにおけるすべてのテキスト生成指標の性能が大幅に向上しました。