CoMER : Modélisation de la couverture pour la reconnaissance d'expressions mathématiques manuscrites basée sur les Transformers

L'architecture encodeur-décodeur basée sur les Transformers a récemment réalisé des avancées significatives dans la reconnaissance d'expressions mathématiques manuscrites. Cependant, le modèle Transformer souffre encore du problème de couverture insuffisante, ce qui rend son taux de reconnaissance d'expressions (ExpRate) inférieur à celui de ses homologues RNN. Les informations de couverture, qui enregistrent les informations d'alignement des étapes précédentes, ont fait leurs preuves dans les modèles RNN. Dans cet article, nous proposons CoMER, un modèle qui intègre les informations de couverture dans le décodeur Transformer. Plus précisément, nous introduisons un nouveau module de raffinement de l'attention (Attention Refinement Module, ARM) pour affiner les poids d'attention avec les informations d'alignement passées sans compromettre sa parallélisme. De plus, nous poussons l'utilisation des informations de couverture à l'extrême en proposant la couverture auto et la couverture croisée, qui exploitent les informations d'alignement passées des couches actuelles et précédentes. Les expériences montrent que CoMER améliore l'ExpRate de 0,61%/2,09%/1,59% par rapport au modèle actuel le plus performant et atteint 59,33%/59,81%/62,97% sur les ensembles de tests CROHME 2014/2016/2019.