Generate & Rank: Ein Multi-Task-Framework für Mathematische Textaufgaben

Mathematisches Wortproblem (MWP) stellt eine herausfordernde und zentrale Aufgabe im Bereich der natürlichen Sprachverarbeitung dar. Viele aktuelle Studien formulieren MWP als Generierungsaufgabe und nutzen sequenz-zu-Sequenz-Modelle, um Problembeschreibungen in mathematische Ausdrücke zu transformieren. Allerdings sind mathematische Ausdrücke anfällig für kleinste Fehler, während das Generierungsziel solche Fehler nicht explizit berücksichtigt. Um diese Einschränkung zu überwinden, entwickeln wir eine neue Rangfolgeaufgabe für MWP und stellen ein mehrstufiges Framework namens Generate & Rank vor, das auf einem generativen vortrainierten Sprachmodell basiert. Durch die gemeinsame Trainingsstrategie aus Generierung und Rangfolge lernt das Modell aus eigenen Fehlern und kann korrekte von inkorrekten Ausdrücken unterscheiden. Gleichzeitig führen wir eine baumbasierte Störung durch, die speziell für MWP entworfen wurde, sowie ein Online-Update, um den Rangierer zu verbessern. Wir belegen die Wirksamkeit unseres vorgeschlagenen Ansatzes anhand eines Benchmark-Datensatzes; die Ergebnisse zeigen, dass unsere Methode in allen Datensätzen konsistent die Baselines übertrifft. Insbesondere erreicht unser Ansatz auf dem klassischen Math23k-Datensatz eine Steigerung um 7 Prozentpunkte (von 78,4 % auf 85,4 %) gegenüber dem Stand der Technik.