Modellierung von Inner-Beziehungen in mathematischen Textaufgaben mit unterschiedlichen funktionalen Multi-Head-Attention-Mechanismen

Mehrere Deep-Learning-Modelle wurden vorgeschlagen, um mathematische Textaufgaben (Math Word Problems, MWPs) automatisch zu lösen. Obwohl diese Modelle die Fähigkeit besitzen, Merkmale ohne manuelle Anstrengung zu erfassen, sind ihre Ansätze zur Merkmalsgewinnung nicht speziell auf MWPs zugeschnitten. Um die Vorteile von Deep-Learning-Modellen zu nutzen und gleichzeitig die spezifischen Merkmale von MWPs angemessen zu berücksichtigen, schlagen wir eine Gruppen-Attention-Mechanismus vor, um jeweils globale Merkmale, mengenbezogene Merkmale, mengenpaarbezogene Merkmale und fragebezogene Merkmale in MWPs zu extrahieren. Die experimentellen Ergebnisse zeigen, dass der vorgeschlagene Ansatz signifikant besser abschneidet als bisherige State-of-the-Art-Methoden: Die Leistung steigt von 66,9 % auf 69,5 % bei der Math23K-Datenmenge mit Trainings-Test-Split, von 65,8 % auf 66,9 % bei 5-Fold-Cross-Validation auf Math23K und von 69,2 % auf 76,1 % auf MAWPS.