2 个月前

基于注意力求和读取网络的文本理解

Rudolf Kadlec; Martin Schmid; Ondrej Bajgar; Jan Kleindienst
基于注意力求和读取网络的文本理解
摘要

最近,几种大型的完形填空式上下文-问题-答案数据集被引入,包括CNN和Daily Mail新闻数据以及儿童书籍测试(Children's Book Test)。由于这些数据集的规模庞大,相关的文本理解任务非常适合当前表现出色的深度学习技术,这些技术似乎优于所有其他替代方法。我们提出了一种新的、简单的模型,该模型利用注意力机制直接从上下文中挑选答案,而不是像类似模型通常所做的那样,通过计算文档中单词的混合表示来生成答案。这使得该模型特别适用于答案为文档中单个单词的问题回答任务。我们的模型组合在所有评估的数据集上均达到了新的最先进水平。