2 个月前
词语还是字符?阅读理解中的细粒度门控机制
Zhilin Yang; Bhuwan Dhingra; Ye Yuan; Junjie Hu; William W. Cohen; Ruslan Salakhutdinov

摘要
先前的研究通过拼接或标量加权的方式结合了词级和字符级表示,这在高层次任务如阅读理解中并不是最优的选择。本文提出了一种细粒度门控机制,该机制能够根据词语的特性动态地结合词级和字符级表示。此外,我们将细粒度门控的概念扩展到建模问题与段落之间的交互,以提高阅读理解的效果。实验结果表明,我们的方法可以提升阅读理解任务的性能,在儿童书籍测试(Children's Book Test)数据集上取得了新的最先进成果。为了展示我们所提出的门控机制的通用性,我们还在社交媒体标签预测任务上展示了改进的结果。