密集连接注意力传播用于阅读理解

我们提出了一种新的密集连接神经架构——DecaProp（Densely Connected Attention Propagation），用于阅读理解（RC）。我们的模型具有两个显著特点。首先，该模型在所有层次级别上密集连接网络中的所有成对层，建模篇章与问题之间的关系。其次，我们网络中的密集连接器通过注意力机制学习，而不是传统的残差跳连。为此，我们提出了新颖的双向注意力连接器（BAC）以高效地在整个网络中建立连接。我们在四个具有挑战性的阅读理解基准数据集上进行了广泛的实验。实验结果表明，所提出的模型在这四个基准数据集上均达到了最先进的水平，在绝对F1分数上比现有基线方法提高了2.6%至14.2%。