基于语言模型的自回归结构化预测

近年来，自然语言处理（NLP）领域发生了一场范式转变，即广泛采用预训练语言模型（Pretrained Language Models, PLM）来应对各类任务。然而，在如何有效表示结构化信息（例如标注文本、共指链等）方面，仍存在诸多复杂的设计挑战，以确保这些结构能够被PLM充分捕捉。以往基于PLM的结构化预测方法通常将结构化输出展平为序列形式，这种处理方式限制了结构信息的学习质量，导致其性能相较于经典判别模型有所下降。在本研究中，我们提出一种新方法，通过自回归方式将结构建模为一系列动作序列，从而在不丢失结构内部依赖关系的前提下，实现对结构的精确建模。该方法在我们所考察的所有结构化预测任务上均取得了新的最先进性能，包括命名实体识别、端到端关系抽取以及共指消解。