基于语法的手写数学表达式识别网络

手写数学表达式识别（HMER）是一项具有许多潜在应用的挑战性任务。近年来，基于编码器-解码器架构的方法在HMER中取得了卓越的性能。然而，这些方法遵循“从一个字符到另一个字符”的预测范式，这不可避免地会由于数学表达式的复杂结构或潦草的手写而导致预测错误。本文提出了一种简单且高效的手写数学表达式识别方法，首次将语法信息融入编码器-解码器网络中。具体而言，我们为每个表达式的LaTeX标记序列定义了一组语法规则，将其转换为解析树；然后，我们将标记序列的预测建模为使用深度神经网络进行的树遍历过程。通过这种方式，所提出的方法能够有效地描述表达式的语法上下文，从而减轻HMER中的结构预测错误。在三个基准数据集上的实验表明，我们的方法比现有技术实现了更好的识别性能。为了进一步验证我们方法的有效性，我们创建了一个大规模数据集，包含从一万名作者处收集的10万张手写数学表达式图像。本工作的源代码、新数据集和预训练模型将公开发布。