摘要
推测是文本数据中自然发生的现象，构成了许多系统的重要组成部分，尤其是在生物医学信息检索领域。先前针对推测检测中的线索识别和范围解析（这两个子任务）的研究方法从基于规则的系统到基于深度学习的方法不等。在本文中，我们应用了三种流行的基于变换器的架构——BERT、XLNet 和 RoBERTa 来完成这一任务，并在两个公开可用的数据集 BioScope 语料库和 SFU 评论语料库上报告了显著的改进（线索识别至少提高了 0.29 的 F1 分数，范围解析提高了 4.27 的 F1 分数）。我们还尝试了在多个数据集上对模型进行联合训练，结果表明这种方法明显优于单个数据集上的训练方法。我们观察到 XLNet 在性能上始终优于 BERT 和 RoBERTa，这与在其他基准数据集上的结果相反。为了验证这一观察结果，我们将 XLNet 和 RoBERTa 应用于否定检测和范围解析任务，在 BioScope 语料库的否定范围解析方面取得了最先进的成果（BioScope 全文部分提高了 3.16 的 F1 分数，BioScope 摘要部分提高了 0.06 的 F1 分数），以及在 SFU 评论语料库上也有所提升（F1 分数提高了 0.3 点）。