HyperAIHyperAI

Command Palette

Search for a command to run...

Regarder, attentionner et analyser : une approche fondée sur un réseau de neurones end-to-end pour la reconnaissance d'expressions mathématiques manuscrites

LiRong Dai Si Wei Jinshui Hu Yulong Hu Dan Liu Shiliang Zhang Jun Du Jianshu Zhang

Résumé

La reconnaissance automatique d’une expression mathématique manuscrite (HME) est un défi en raison des ambiguïtés inhérentes aux symboles manuscrits et de la structure bidimensionnelle des expressions mathématiques. Inspirés par les avancées récentes en apprentissage profond, nous proposons Watch, Attend and Parse (WAP), une nouvelle approche end-to-end basée sur les réseaux neuronaux, capable d’apprendre à reconnaître les HME dans leur disposition bidimensionnelle et de les convertir en séquences unidimensionnelles de caractères au format LaTeX. Contrairement aux méthodes traditionnelles, notre modèle évite les problèmes liés à la segmentation des symboles et ne nécessite pas de grammaire d’expression prédéfinie. Les tâches de reconnaissance des symboles et d’analyse structurelle sont respectivement traitées par un « watcher » et un « parser ». Nous utilisons un encodeur à réseau de neurones convolutifs, prenant en entrée des images d’HME, comme watcher, et un décodeur à réseau de neurones récurrents doté d’un mécanisme d’attention comme parser pour générer des séquences LaTeX. De plus, la correspondance entre les expressions d’entrée et les séquences LaTeX de sortie est apprise automatiquement grâce au mécanisme d’attention. Nous validons l’approche proposée sur un benchmark publié par le concours international CROHME. En utilisant le jeu de données d’entraînement officiel, WAP dépasse significativement la méthode de l’état de l’art, atteignant une précision de reconnaissance d’expressions de 46,55 % sur CROHME 2014 et de 44,55 % sur CROHME 2016.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp