摘要
图到文本（Graph-to-Text, G2T）生成任务以图结构作为输入，旨在生成流畅且忠实于图中信息的文本表示。该任务在对话生成、问答系统等多个领域具有广泛应用。本文旨在探究此前研究中所用数据集上的G2T生成问题在多大程度上已得到解决，并评估现有评价指标在比较生成文本时的表现。为克服现有指标的局限性，本文提出一种新的评价指标——FactSpotter，该指标能够准确判断事实忠实性：对于给定的三元组（主语，谓语，宾语），可判断该三元组是否在生成的文本中正确体现。实验结果表明，FactSpotter在数据正确性、数据覆盖度以及相关性三项指标上与人工标注结果具有最高的相关性。此外，FactSpotter可作为即插即用的特征模块，有效提升现有模型的事实忠实性。最后，本文进一步检验了当前主流G2T数据集对前沿模型是否仍具备挑战性。本文相关代码已开源，地址为：https://github.com/guihuzhang/FactSpotter。