17 天前

利用算子生成方程:GEO模型

{Gahgene Gweon, Bugeun Kim, Donggeon Lee, Kyung Seo Ki}
利用算子生成方程:GEO模型
摘要

数学应用题求解是自然语言处理领域的一个新兴研究方向。近年来,为应对数学应用题求解任务,研究人员广泛采用编码器-解码器(encoder-decoder)架构,该架构最初主要应用于机器翻译任务。当前最先进的神经网络模型通常依赖人工设计的特征,并基于生成式方法构建。本文提出了一种名为GEO(基于操作符生成方程,Generation of Equations by utilizing Operators)的新模型,该模型不依赖人工设计特征,有效解决了现有神经模型存在的两个关键问题:1)缺乏领域特定知识特征;2)在编码阶段丢失知识信息。为解决领域知识特征缺失问题,我们设计了两项辅助任务:操作符组差异预测(operation group difference prediction)与隐式配对预测(implicit pair prediction)。为缓解编码层级知识丢失问题,我们引入了一个操作特征前馈层(Operation Feature Feed Forward, OP3F)。实验结果表明,GEO模型在两个基准数据集上均优于现有最先进模型:在MAWPS数据集上达到85.1%的准确率,在DRAW-1K数据集上达到62.5%的准确率,并在ALG514数据集上取得了82.1%的可比性能。

利用算子生成方程:GEO模型 | 最新论文 | HyperAI超神经