FusionNet：通过全意识注意力机制融合在机器阅读理解中的应用

本文介绍了一种名为FusionNet的新神经网络结构，该结构从三个角度扩展了现有的注意力机制。首先，它提出了“词的历史”（history of word）这一新概念，用于描述从最低级别的词嵌入到最高级别的语义表示的注意力信息。其次，它引入了一种改进的注意力评分函数，更好地利用了“词的历史”概念。最后，它提出了一种全面感知的多层级注意力机制，旨在逐层捕捉一个文本（如问题）中的完整信息，并在另一个文本（如上下文或段落）中加以利用。我们将FusionNet应用于斯坦福问答数据集（SQuAD），在撰写本文时（2017年10月4日），无论是单模型还是集成模型，FusionNet均在官方SQuAD排行榜上取得了第一名的成绩。同时，我们通过两个对抗性的SQuAD数据集验证了FusionNet的泛化能力，并在这两个数据集上建立了新的最先进水平：在AddSent数据集中，FusionNet将最佳F1指标从46.6%提高到了51.4%；在AddOneSent数据集中，FusionNet将最佳F1指标从56.0%提升到了60.7%。