11 天前

指向表达式:基于表达式指针Transformer模型求解代数应用题

{Gahgene Gweon, Donggeon Lee, Kyung Seo Ki, Bugeun Kim}
指向表达式:基于表达式指针Transformer模型求解代数应用题
摘要

近年来,求解代数应用题已成为自然语言处理领域的一项重要任务。为解决此类问题,已有研究提出基于神经网络的模型,通过将“操作符/操作数”(Op)作为输入与输出的基本单元来生成解题方程。然而,这类神经模型存在两个关键问题:表达式碎片化(expression fragmentation)和操作数与上下文分离(operand-context separation)。为分别应对上述两个问题,本文提出一种纯神经网络模型——表达式指针变换器(Expression-Pointer Transformer, EPT),该模型在生成解题方程时引入了两个核心机制:(1)使用“表达式”(Expression)标记,以及(2)操作数-上下文指针机制。我们在三个公开数据集(ALG514、DRAW-1K 和 MAWPS)上对 EPT 模型的性能进行了评估。实验结果表明,EPT 在三个数据集上的准确率分别达到:ALG514 上 81.3%,DRAW-1K 上 59.5%,MAWPS 上 84.5%,与当前最优(SoTA)模型相比,性能相当。本文的主要贡献有两点:(1)提出了一种纯神经网络模型 EPT,能够有效缓解表达式碎片化与操作数-上下文分离问题;(2)所提出的 EPT 模型为全自动化设计,无需依赖人工设计的特征,其性能可与依赖人工特征的现有模型相媲美,并且相较于现有纯神经网络模型,性能提升最高达 40%。

指向表达式:基于表达式指针Transformer模型求解代数应用题 | 最新论文 | HyperAI超神经