Erzeugung von Gleichungen durch Nutzung von Operatoren: GEO-Modell

Die Lösung mathematischer Textaufgaben ist ein aufkommendes Forschungsthema im Bereich des Natural Language Processing. Kürzlich haben Forscher zur Bewältigung dieser Aufgabe architektonische Ansätze basierend auf Encoder-Decoder-Modellen eingesetzt, die ursprünglich für maschinelle Übersetzung entwickelt wurden. Die derzeit fortschrittlichsten neuronalen Modelle nutzen handkodierte Merkmale und basieren auf Generationsmethoden. In diesem Paper stellen wir das GEO-Modell (Generation of Equations by utilizing Operators) vor, das keine handkodierten Merkmale verwendet und zwei Probleme anspricht, die in bestehenden neuronalen Modellen auftreten: 1. den Mangel an domain-spezifischen Wissensmerkmalen und 2. den Verlust von Wissen auf Encoder-Ebene. Um das Problem fehlender domain-spezifischer Merkmale zu lösen, haben wir zwei Hilfsaufgaben entworfen: die Vorhersage von Unterschieden in Operationsgruppen und die Vorhersage impliziter Paare. Um das Problem des Verlusts von Wissen auf Encoder-Ebene zu beheben, haben wir eine Operation Feature Feed Forward (OP3F)-Schicht hinzugefügt. Experimentelle Ergebnisse zeigten, dass das GEO-Modell auf zwei Datensätzen die bestehenden state-of-the-art-Modelle übertraf: 85,1 % auf MAWPS und 62,5 % auf DRAW-1K, und eine vergleichbare Leistung von 82,1 % auf dem ALG514-Datensatz erreichte.