探究预训练语言模型在图到文本生成中的应用

图到文本生成的目标是从基于图的数据中生成流畅的文本。在本文中，我们研究了两种最近提出的预训练语言模型（PLM），并分析了不同的任务适应性预训练策略对这些模型在图到文本生成任务中的影响。我们进行了跨三个图领域的研究：意义表示、维基百科知识图谱（KG）和科学知识图谱（KG）。结果显示，BART和T5这两种预训练语言模型达到了新的最先进水平，并且任务适应性预训练策略进一步提高了它们的性能。具体而言，我们在LDC2017T10数据集上报告了49.72的新最先进BLEU分数，在WebNLG数据集上报告了59.70的新最先进BLEU分数，在AGENDA数据集上报告了25.66的新最先进BLEU分数——相对改进率分别为31.8%、4.5%和42.4%。通过广泛的分析，我们确定了预训练语言模型在图到文本任务中取得成功的一些可能原因。我们发现证据表明，这些模型对真实事实的知识有助于它们即使在输入图表示简化为节点和边标签的简单集合时也能表现良好。