摘要
抽象 meaning 表示（Abstract Meaning Representation, AMR）以图结构的形式突出文本的核心语义信息。近年来，预训练语言模型（Pre-trained Language Models, PLMs）在 AMR 解析与 AMR 到文本生成任务上取得了显著进展。然而，PLMs 通常基于纯文本数据进行预训练，因此在建模结构化知识方面表现有限。为此，我们探索了图自监督学习方法，以提升 PLMs 对 AMR 图结构的感知能力。具体而言，我们提出了两种图到图的自编码预训练策略，并设计了四项任务，用于在预训练过程中融合文本与图结构信息。此外，我们构建了一个统一框架，以弥合预训练阶段与微调阶段任务之间的差距。在 AMR 解析与 AMR 到文本生成两个任务上的实验结果表明，所提出模型具有显著优势。据我们所知，本工作是首个将预训练范式应用于语义图结构的研究。