2 个月前

TAMER:用于手写数学表达式识别的树感知变压器模型

Zhu, Jianhua ; Zhao, Wenqi ; Li, Yu ; Hu, Xingjian ; Gao, Liangcai
TAMER:用于手写数学表达式识别的树感知变压器模型
摘要

手写数学表达式识别(HMER)在自动评分和办公自动化中有着广泛的应用。然而,现有的基于序列的解码方法直接预测 $\LaTeX$ 序列时,难以理解和建模 $\LaTeX$ 的固有树状结构,经常导致解码结果的语法不正确。为了解决这些挑战,我们提出了一种名为 TAMER(Tree-Aware Transformer,树感知变压器)的新模型用于手写数学表达式识别。TAMER 引入了一个创新的树感知模块,同时保留了 Transformer 的灵活性和高效的训练能力。TAMER 通过联合优化序列预测和树结构预测任务,结合了序列解码和树解码模型的优点,增强了模型对复杂数学表达式结构的理解和泛化能力。在推理过程中,TAMER 采用了一种树结构预测评分机制来提高生成的 $\LaTeX$ 序列的结构有效性。实验结果表明,在 CROHME 数据集上,TAMER 在处理复杂数学结构方面优于传统的序列解码和树解码模型,达到了最先进的(SOTA)性能。

TAMER:用于手写数学表达式识别的树感知变压器模型 | 最新论文 | HyperAI超神经