Beobachten, Aufmerksamkeit schenken und analysieren: Ein end-to-end neuronales Netzwerk-basiertes Ansatz zur Erkennung handschriftlicher mathematischer Ausdrücke

Die maschinelle Erkennung handschriftlicher mathematischer Ausdrücke (HME) ist aufgrund der Ambiguitäten handschriftlicher Symbole und der zweidimensionalen Struktur mathematischer Ausdrücke herausfordernd. Inspiriert durch jüngste Fortschritte im Bereich des Deep Learning präsentieren wir Watch, Attend and Parse (WAP), einen neuartigen end-to-end-Ansatz basierend auf neuronalen Netzen, der lernt, HMEs in ihrer zweidimensionalen Anordnung zu erkennen und sie als eindimensionale Zeichenfolgen im LaTeX-Format auszugeben. Im Gegensatz zu herkömmlichen Methoden vermeidet unser vorgeschlagener Ansatz Probleme, die aus der Symbolsegmentierung resultieren, und erfordert keine vordefinierte Ausdruckssyntax. Gleichzeitig werden die Aufgaben der Symbolerkennung und der Strukturanalyse jeweils durch einen „Watcher“ und einen „Parser“ bewältigt. Wir verwenden einen convolutionalen neuronalen Netzwerk-Encoder, der HME-Bilder als Eingabe erhält, als Watcher, und einen rekurrenten neuronalen Netzwerk-Decoder mit Aufmerksamkeitsmechanismus als Parser zur Generierung von LaTeX-Sequenzen. Darüber hinaus lernt der Aufmerksamkeitsmechanismus automatisch die Korrespondenz zwischen den Eingabedrücken und den Ausgabesequenzen im LaTeX-Format. Wir validieren unseren Ansatz anhand eines Benchmarks, das von der internationalen CROHME-Wettbewerb veröffentlicht wurde. Unter Verwendung des offiziellen Trainingsdatensatzes übertrifft WAP die bisher beste Methode signifikant, wobei eine Erkennungsgenauigkeit von 46,55 % für CROHME 2014 und 44,55 % für CROHME 2016 erreicht wird.