Syntax-bewusstes Netzwerk für die Erkennung von handschriftlichen mathematischen Ausdrücken

Die Erkennung handschriftlicher mathematischer Ausdrücke (HMER) ist eine herausfordernde Aufgabe mit zahlreichen potenziellen Anwendungen. Neueste Methoden für HMER haben mit einer Encoder-Decoder-Architektur außergewöhnliche Leistungen erzielt. Allerdings halten sich diese Methoden am Paradigma fest, dass die Vorhersage "von einem Zeichen zum nächsten" getroffen wird, was aufgrund der komplexen Strukturen mathematischer Ausdrücke oder verschachtelter Handschriften unvermeidlich Vorhersagefehler nach sich zieht. In dieser Arbeit schlagen wir eine einfache und effiziente Methode für HMER vor, die als erste syntaktische Informationen in ein Encoder-Decoder-Netzwerk integriert. Insbesondere präsentieren wir eine Reihe von Grammatikregeln zur Umwandlung der LaTeX-Markup-Sequenz jedes Ausdrucks in einen Parsing-Baum; danach modellieren wir die Vorhersage der Markup-Sequenz als einen Baumtraversierungsprozess mit einem tiefen neuronalen Netzwerk. Auf diese Weise kann die vorgeschlagene Methode den syntaktischen Kontext der Ausdrücke effektiv beschreiben und die Strukturvorhersagefehler des HMER reduzieren. Experimente auf drei Benchmark-Datensätzen zeigen, dass unsere Methode bessere Erkennungsleistungen als frühere Arbeiten erzielt. Um die Effektivität unserer Methode weiter zu überprüfen, haben wir einen großen Datensatz erstellt, der 100.000 handschriftliche Bilder mathematischer Ausdrücke von zehntausend Schreibern umfasst. Der Quellcode, der neue Datensatz und die vorab trainierten Modelle dieser Arbeit werden öffentlich zugänglich gemacht.