摘要
我们介绍了ReCAT，这是一种递归组合增强的Transformer模型，能够在学习和推理过程中显式地建模原始文本的层次句法结构，而无需依赖黄金树。现有的研究方法通常限制数据遵循层次树结构，因此缺乏跨片段之间的通信。为了解决这一问题，我们提出了一种新颖的情境内外（CIO）层，该层通过自底向上和自顶向下的传递来学习片段的情境化表示。其中，自底向上的传递通过组合低级片段形成高级片段的表示，而自顶向下的传递则结合了片段内部和外部的信息。通过在Transformer的嵌入层与注意力层之间堆叠多个CIO层，ReCAT模型能够实现深度的片内交互和深度的片间交互，从而生成与其他片段完全情境化的多粒度表示。此外，CIO层可以与Transformers联合预训练，使ReCAT同时具备扩展能力、强大的性能和可解释性。我们在各种句子级别和片段级别的任务上进行了实验。评估结果表明，ReCAT在所有片段级别的任务上显著优于普通的Transformer模型，并且在自然语言推理任务上也优于将递归网络与Transformers结合的基线模型。更有趣的是，由ReCAT诱导出的层次结构与人工标注的句法树表现出强烈的吻合性，这表明CIO层带来了良好的可解释性。