门控注意力阅读器用于文本理解

本文研究了文档中回答完形填空式问题的问题。我们的模型，即门控注意力（Gated-Attention, GA）阅读器，将多跳架构与一种新颖的注意力机制相结合，该机制基于查询嵌入与递归神经网络文档阅读器中间状态之间的乘法交互。这使得阅读器能够构建文档中针对查询的特定表示，从而实现精确的答案选择。GA阅读器在三个基准测试集上取得了当前最佳的结果——CNN和Daily Mail新闻故事以及Who Did What数据集。通过消融研究和与其他用于实现门控注意力的组合运算符进行比较，证明了乘法交互的有效性。代码可在https://github.com/bdhingra/ga-reader 获取。