注意力叠加神经网络在阅读理解中的应用

完形填空式问题在阅读理解中具有代表性。在过去几个月里，我们见证了利用神经网络方法解决完形填空式问题的显著进展。本文提出了一种新颖的模型，称为“注意力叠加注意力”阅读器（attention-over-attention reader），用于完形填空式的阅读理解任务。该模型旨在在文档级注意力机制之上再放置一个注意力机制，并通过“加权注意力”（attended attention）进行最终预测。与以往的研究不同，我们的神经网络模型需要较少的预定义超参数，并采用了更为优雅的架构进行建模。实验结果表明，在公共数据集（如CNN和儿童书籍测试数据集）中，所提出的注意力叠加注意力模型显著优于各种最先进的系统，且优势明显。