既存の知識グラフからテキストへの変換（Knowledge-Graph-to-Text: KG-to-text）に使用されている事前学習モデルは、BARTやT5などのテキストからテキストへの変換用事前学習モデルをKG-to-textデータセットで微調整するだけで、エンコーディング時にグラフ構造をほとんど無視し、グラフとテキストの対応関係を明示的にモデリングするための洗練された事前学習タスクが欠けています。これらの問題に対処するために、我々はグラフとテキストの共同表現学習モデルであるJointGTを提案します。エンコーディング時には、各Transformer層に組み込むことでグラフ構造を保つ構造認識型意味集合モジュールを開発しました。さらに、Optimal Transportを用いた埋め込み空間でのグラフ-テキスト対応強化など、それぞれのテキスト/グラフ再構築を含む3つの新しい事前学習タスクを提案しています。実験結果は、JointGTが様々なKG-to-textデータセットにおいて新たな最先端の性能を達成していることを示しています。