HyperAIHyperAI

Command Palette

Search for a command to run...

密集连接注意力传播用于阅读理解

Yi Tay Luu Anh Tuan Siu Cheung Hui Jian Su

摘要

我们提出了一种新的密集连接神经架构——DecaProp(Densely Connected Attention Propagation),用于阅读理解(RC)。我们的模型具有两个显著特点。首先,该模型在所有层次级别上密集连接网络中的所有成对层,建模篇章与问题之间的关系。其次,我们网络中的密集连接器通过注意力机制学习,而不是传统的残差跳连。为此,我们提出了新颖的双向注意力连接器(BAC)以高效地在整个网络中建立连接。我们在四个具有挑战性的阅读理解基准数据集上进行了广泛的实验。实验结果表明,所提出的模型在这四个基准数据集上均达到了最先进的水平,在绝对F1分数上比现有基线方法提高了2.6%至14.2%。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
密集连接注意力传播用于阅读理解 | 论文 | HyperAI超神经