基于不同功能多头注意力机制的数学应用题内部关系建模

近年来，已有多种深度学习模型被提出用于自动求解数学应用题（Math Word Problems, MWPs）。尽管这些模型具备无需人工干预即可捕捉特征的能力，但其特征提取方式并未针对MWPs的特定结构进行专门设计。为充分发挥深度学习模型的优势，同时充分考虑MWPs的独特特征，本文提出一种分组注意力机制（group attention mechanism），分别用于提取问题中的全局特征、与数量相关的特征、数量对特征以及与问题目标相关的特征。实验结果表明，所提出的方法显著优于以往的最先进方法：在Math23K数据集上，采用训练集-测试集划分时，准确率从66.9%提升至69.5%；采用5折交叉验证时，准确率从65.8%提升至66.9%；在MAWPS数据集上，准确率则从69.2%大幅提升至76.1%。