2 个月前

机器理解的双向注意力流

Minjoon Seo; Aniruddha Kembhavi; Ali Farhadi; Hannaneh Hajishirzi
机器理解的双向注意力流
摘要

机器理解(MC)是指针对给定的上下文段落回答问题,这需要对上下文和问题之间的复杂交互进行建模。近年来,注意力机制已成功应用于机器理解领域。通常这些方法利用注意力机制集中关注上下文的一小部分,并用固定大小的向量对其进行总结,同时在时间上耦合注意力,或者经常形成单向注意力。本文中,我们介绍了一种双向注意流(Bi-Directional Attention Flow, BIDAF)网络,这是一种多阶段层次化过程,能够在不同粒度级别表示上下文,并通过双向注意流机制获得查询感知的上下文表示,而无需过早总结。我们的实验评估表明,该模型在斯坦福问答数据集(SQuAD)和CNN/DailyMail完形填空测试中取得了最先进的结果。