MWP-BERT：面向数学应用题求解的数值增强预训练

数学应用题（Math Word Problem, MWP）求解在数值表示学习方面面临一个两难困境。为避免数值表示问题并缩小可行解的搜索空间，现有MWP求解方法通常将真实数值替换为符号占位符，以专注于逻辑推理。然而，与程序合成、知识图谱推理等常见符号推理任务不同，MWP求解在数值推理方面具有额外要求：真正关键的并非数值本身，而是可复用的数值属性。因此，我们认为，通过上下文感知的表示学习框架，将数值属性注入符号占位符，可为解决数值表示难题提供一条有效路径。在本研究中，我们这一思想引入主流预训练语言模型（Pre-trained Language Model, PLM）技术，构建了MWP-BERT——一种面向数学应用题的上下文化数值表示预训练模型。实验结果表明，MWP-BERT在英文与中文基准数据集上的MWP求解任务以及多项MWP专项理解任务中均展现出显著的有效性。