JointGT：知识图谱与文本联合表示学习用于从知识图谱生成文本

现有的知识图谱到文本（KG-to-text）生成的预训练模型通常只是在KG-to-text数据集上对文本到文本的预训练模型（如BART或T5）进行微调，这在编码过程中很大程度上忽略了图结构，并且缺乏精心设计的预训练任务来显式建模图-文对齐。为了解决这些问题，我们提出了一种称为JointGT的图-文联合表示学习模型。在编码阶段，我们设计了一个结构感知的语义聚合模块，该模块被嵌入到每个Transformer层中以保留图结构。此外，我们提出了三种新的预训练任务，旨在显式增强图-文对齐，包括分别进行文本/图重构以及通过最优传输（Optimal Transport）在嵌入空间中实现图-文对齐。实验结果表明，JointGT在多个KG-to-text数据集上取得了新的最先进性能。