Point to the Expression: Lösen algebraischer Textaufgaben mithilfe des Expression-Pointer Transformer-Modells

Die Lösung algebraischer Textaufgaben ist in letzter Zeit zu einer wichtigen Aufgabe im Bereich des natürlichen Sprachverstehens geworden. Um algebraische Textaufgaben zu lösen, haben jüngere Studien neuronale Modelle vorgeschlagen, die Lösungsgleichungen mithilfe von {}Op (Operator/Operand){'}-Tokens als Einheit für Eingabe und Ausgabe generieren. Solche neuronalen Modelle leiden jedoch an zwei Problemen: Ausdrucksfragmentierung und Trennung von Operanden und Kontext. Um jedes dieser beiden Probleme anzugehen, schlagen wir ein reines neuronales Modell, das Expression-Pointer Transformer (EPT), vor, das (1) {}Expression{'}-Tokens und (2) Operanden-Kontext-Pointer verwendet, um Lösungsgleichungen zu generieren. Die Leistung des EPT-Modells wurde an drei Datensätzen getestet: ALG514, DRAW-1K und MAWPS. Im Vergleich zu den derzeit besten (SoTA) Modellen erreichte das EPT-Modell auf jedem der drei Datensätze eine vergleichbare Genauigkeit: 81,3 % auf ALG514, 59,5 % auf DRAW-1K und 84,5 % auf MAWPS. Der Beitrag dieses Papers ist zweifach: (1) Wir stellen ein reines neuronales Modell, das EPT, vor, das sowohl die Ausdrucksfragmentierung als auch die Trennung von Operanden und Kontext adressieren kann. (2) Das vollständig automatische EPT-Modell, das keine handgefertigten Merkmale verwendet, erzielt eine vergleichbare Leistung zu bestehenden Modellen mit handgefertigten Merkmalen und erreicht eine bessere Leistung als bestehende reine neuronale Modelle – maximal um 40 %.