MWPToolkit: Ein Open-Source-Framework für Deep-Learning-basierte Mathematische-Aufgaben-Löser

Die Entwicklung automatischer Lösungsverfahren für mathematische Textaufgaben (Math Word Problems, MWP) ist seit den 1960er Jahren ein zentrales Forschungsfeld der Natural Language Processing (NLP)-Forschung. In den letzten Jahren wurden zahlreiche Datensätze und tiefenlernbasierte Methoden vorgeschlagen, um MWPs effektiv zu lösen. Dennoch werden die meisten bestehenden Ansätze lediglich an einem oder zwei Datensätzen evaluiert, wobei die Konfigurationen stark variieren, was zu einem Mangel an einheitlichen, standardisierten, fairen und umfassenden Vergleichen zwischen den Methoden führt. In dieser Arbeit stellen wir MWPToolkit vor – den ersten Open-Source-Framework für die Lösung von MWP. In MWPToolkit zerlegen wir den Lösungsprozess bestehender MWP-Solver in mehrere zentrale Komponenten und entkoppeln deren Modelle in hochwiederverwendbare Module. Zudem integrieren wir eine Hyperparameter-Suche, um die Leistungsfähigkeit zu steigern. Insgesamt implementieren und vergleichen wir 17 verschiedene MWP-Solver auf vier weit verbreiteten Benchmarks zur Generierung einer einzigen Gleichung sowie zwei Benchmarks zur Generierung mehrerer Gleichungen. Diese Merkmale machen MWPToolkit besonders geeignet, um fortgeschrittene Baseline-Modelle nachzuvollziehen und neue MWP-Solver schnell zu entwickeln. Der Quellcode und die Dokumentation sind unter https://github.com/LYH-YF/MWPToolkit verfügbar.