Sind NLP-Modelle wirklich in der Lage, einfache mathematische Textaufgaben zu lösen?

Das Problem der Entwicklung von NLP-Solvern für mathematische Textaufgaben (Math Word Problems, MWP) hat kontinuierliche Forschungsaktivität hervorgerufen und stetige Fortschritte in der Testgenauigkeit gezeigt. Da bestehende Solver auf den Standard-Datensätzen für elementare MWP, die ein-unknown arithmetische Textaufgaben enthalten, hohe Leistung erzielen, gelten diese Aufgaben häufig als „gelöst“, wodurch der größte Teil der Forschungsanstrengungen auf komplexere MWP verlegt wurde. In diesem Artikel beschränken wir uns auf englischsprachige MWP, die in den Klassen vier und darunter unterrichtet werden. Wir liefern starke Hinweise darauf, dass bestehende MWP-Solver auf oberflächliche Heuristiken angewiesen sind, um ihre hohe Leistung auf den Standard-Datensätzen zu erzielen. Dazu zeigen wir, dass MWP-Solver, die keinen Zugriff auf die gestellte Frage in der Textaufgabe haben, dennoch einen erheblichen Anteil der Aufgaben lösen können. Ebenso erreichen Modelle, die MWP als „Bag-of-Words“ behandeln, eine überraschend hohe Genauigkeit. Darüber hinaus führen wir eine Herausforderungs-Datensatz-Sammlung, SVAMP, ein, die durch gezielt ausgewählte Variationen von Beispielen entstanden ist, die aus bestehenden Datensätzen stammen. Die beste Genauigkeit, die durch aktuelle State-of-the-Art-Modelle auf SVAMP erreicht wird, ist erheblich niedriger, was belegt, dass selbst für die einfachsten MWP noch erheblicher Forschungsbedarf besteht.