TAMER : Transformateur Conscient des Arbres pour la Reconnaissance d'Expressions Mathématiques Manuscrites

La reconnaissance d'expressions mathématiques manuscrites (HMER) a de nombreuses applications dans le domaine du classement automatique et de l'automatisation des bureaux. Cependant, les méthodes de décodage basées sur des séquences existantes, qui prédise directement des séquences $\LaTeX$, peinent à comprendre et à modéliser la structure arborescente inhérente aux expressions $\LaTeX$ et échouent souvent à garantir la correction syntaxique des résultats décodés. Pour relever ces défis, nous proposons un nouveau modèle nommé TAMER (Tree-Aware Transformer), destiné à la reconnaissance d'expressions mathématiques manuscrites. TAMER introduit un module innovant appelé Tree-aware Module tout en conservant la flexibilité et l'efficacité de formation du Transformer. TAMER combine les avantages des modèles de décodage séquentiel et arborescent en optimisant conjointement les tâches de prédiction de séquence et de prédiction de structure arborescente, ce qui améliore la compréhension et la généralisation par le modèle des structures d'expressions mathématiques complexes. Lors de l'inférence, TAMER utilise un mécanisme de notation pour la prédiction de structure arborescente afin d'améliorer la validité structurale des séquences $\LaTeX$ générées. Les résultats expérimentaux sur les ensembles de données CROHME montrent que TAMER surpasses les modèles traditionnels de décodage séquentiel et arborescent, particulièrement dans le traitement des structures mathématiques complexes, atteignant une performance au niveau de l'état de l'art (SOTA).