摘要
当前最先进的关系抽取方法通常依赖于一组词汇、句法和语义特征，这些特征在预处理步骤中显式计算。训练特征提取模型需要额外的标注语言资源，这严重限制了关系抽取在新语言中的适用性和可移植性。同样，预处理引入了额外的错误来源。为了解决这些问题，我们提出了TRE（Transformer for Relation Extraction），这是对OpenAI生成预训练变换器 [Radford等，2018] 的扩展。与以往的关系抽取模型不同，TRE 使用预先训练的深度语言表示而不是显式的语言特征来指导关系分类，并将其与自注意力变换器架构结合，以有效建模实体提及之间的长距离依赖关系。通过无监督预训练，TRE 使我们能够仅从纯文本语料库中学习隐式语言特征，然后在关系抽取任务上微调所学的语言表示。TRE 在TACRED和SemEval 2010任务8数据集上取得了新的最先进结果，分别达到了67.4和87.1的测试F1分数。此外，我们观察到样本效率显著提高。仅使用20%的训练样本，TRE 就能匹配我们在 TACRED 数据集上从头开始训练的基线模型和全量训练模型的性能。我们将开源我们的训练模型、实验结果和源代码。