Réseau Conscient de la Syntaxe pour la Reconnaissance d'Expressions Mathématiques Manuscrites

La reconnaissance d'expressions mathématiques manuscrites (HMER) est une tâche complexe qui présente de nombreuses applications potentielles. Les méthodes récentes pour l'HMER ont obtenu des performances remarquables grâce à une architecture encodeur-décodeur. Cependant, ces méthodes s'appuient sur le paradigme selon lequel la prédiction est faite « d'un caractère à un autre », ce qui entraîne inévitablement des erreurs de prédiction dues aux structures complexes des expressions mathématiques ou à l'écriture manuscrite difficile à lire. Dans cet article, nous proposons une méthode simple et efficace pour l'HMER, qui est la première à intégrer des informations syntaxiques dans un réseau encodeur-décodeur. Plus précisément, nous présentons un ensemble de règles grammaticales pour convertir la séquence de balises LaTeX de chaque expression en un arbre de parsing ; ensuite, nous modélisons la prédiction de la séquence de balises comme un processus de parcours d'arbre avec un réseau neuronal profond. De cette manière, la méthode proposée peut décrire efficacement le contexte syntaxique des expressions, atténuant les erreurs de prédiction structurale de l'HMER. Des expériences menées sur trois ensembles de données de référence montrent que notre méthode atteint des performances de reconnaissance supérieures aux travaux antérieurs. Pour valider davantage l'efficacité de notre méthode, nous avons créé un ensemble de données à grande échelle composé de 100 000 images d'expressions mathématiques manuscrites provenant de dix mille auteurs. Le code source, le nouvel ensemble de données et les modèles pré-entraînés de ce travail seront mis à disposition du public.Note : - "HMER" a été traduit par "reconnaissance d'expressions mathématiques manuscrites".- "LaTeX markup sequence" a été traduit par "séquence de balises LaTeX".- "parsing tree" a été traduit par "arbre de parsing".