17 天前

基于扩张组合单元的多粒度序列编码用于阅读理解

{Anh Tuan Luu, Yi Tay, Siu Cheung Hui}
基于扩张组合单元的多粒度序列编码用于阅读理解
摘要

序列编码器是众多神经网络架构中用于学习阅读与理解的关键组件。本文提出了一种用于阅读理解(Reading Comprehension, RC)的新颖组合式编码器。所提出的编码器不仅追求高效性,同时具备强大的表达能力。其核心创新在于引入了一种新型的扩张组合机制(dilated composition mechanism),显式地在多个粒度层次上建模序列信息。在该方法中,门控函数通过建模多粒度序列信息之间的关系并进行推理来学习,从而实现一种能够同时感知长期与短期信息的组合式学习。我们在三个阅读理解数据集上进行了实验,结果表明,该编码器无论作为独立模块使用,还是作为辅助组件集成,均展现出非常有前景的性能。实证结果表明,将所提出的编码器应用于简单的双向注意力(Bi-Attentive)架构中,不仅能取得当前最优或极具竞争力的性能表现,且在推理速度上显著优于已有研究工作。