MWP-BERT：数学文章問題解決のための数理能力強化型事前学習

数学文章問題（MWP）の解決において、数値表現学習に関するジレンマが存在する。既存のMWP解決手法は、数値表現の問題を回避し、妥当な解の探索空間を縮小するために、実数を記号的プレースホルダーに置き換えることが一般的である。これにより、論理的推論に焦点を当てることが可能となる。しかし、プログラム合成や知識グラフ推論といった一般的な記号的推論タスクとは異なり、MWP解決には数値推論に関する追加的な要件が存在する。すなわち、数値そのものよりも、数値の再利用可能な性質（numerical property）が数値推論においてより重要となるのである。したがって、本研究では、文脈依存的表現学習スキームを用いて、記号的プレースホルダーに数値的性質を組み込むことで、数値表現に関するジレンマを克服する新たなアプローチを提案する。本研究では、このアイデアを代表的な事前学習言語モデル（PLM）技術に適用し、MWP-BERTと呼ばれる効果的な文脈依存的数値表現を持つPLMを構築した。さらに、英語および中国語のベンチマークにおいて、MWP解決および複数のMWP特有の理解タスクにおいて、MWP-BERTの有効性を実証した。