MWP-BERT: Numeracy-Augmented Pre-training für die Lösung mathematischer Textaufgaben

Die Lösung mathematischer Textaufgaben (Math Word Problem Solving, MWP) steht vor einem Dilemma bei der Lernung der Zahlendarstellung. Um das Problem der Zahlendarstellung zu umgehen und den Suchraum möglicher Lösungen zu verkleinern, ersetzen bestehende Ansätze zur MWP-Lösung reelle Zahlen typischerweise durch symbolische Platzhalter, um sich auf die logische Schlussfolgerung zu konzentrieren. Im Gegensatz zu allgemeinen symbolischen Schlussfolgerungsaufgaben wie der Programm-Synthese oder der Schlussfolgerung in Wissensgraphen erfordert jedoch die MWP-Lösung zusätzliche Anforderungen an die numerische Schlussfolgerung. Mit anderen Worten: Es ist nicht der Zahlenwert an sich, sondern vielmehr die wiederverwendbare numerische Eigenschaft, die in der numerischen Schlussfolgerung entscheidend ist. Daher argumentieren wir, dass die Einbindung numerischer Eigenschaften in symbolische Platzhalter mittels eines kontextuellen Darstellungslernschemas eine Lösung für dieses Dilemma der Zahlendarstellung darstellen kann. In dieser Arbeit integrieren wir diesen Ansatz in gängige vortrainierte Sprachmodell-Techniken (Pre-trained Language Models, PLM) und entwickeln MWP-BERT, ein effektives kontextuelles Zahlenrepräsentations-PLM. Wir belegen die Wirksamkeit unseres MWP-BERT bei der Lösung mathematischer Textaufgaben sowie bei mehreren auf MWP spezialisierten Verständnistasks auf sowohl englischsprachigen als auch chinesischsprachigen Benchmarks.