要約
数学文章問題（MWP）に対する自然言語処理（NLP）ソルバーの設計という課題は、継続的な研究活動が行われており、テスト精度において着実な向上が見られている。既存のソルバーは、1つの未知数を含む初等レベルの算術的MWPを対象としたベンチマークデータセットにおいて高い性能を達成しているため、こうした問題はしばしば「解決された」と見なされ、研究の焦点はより複雑なMWPへと移っている。本論文では、4年生以下で学習される英語圏のMWPに限定して考察を行う。我々は、既存のMWPソルバーがベンチマークデータセット上で高い性能を発揮している背景には、浅いヒューリスティクスに依存している強力な証拠を提示する。具体的には、MWPの質問文にアクセスできないソルバーでも、多数のMWPを正しく解くことができる点、またMWPを「単語の袋（bag-of-words）」として扱うモデルでも驚くほど高い精度を達成できる点を示す。さらに、既存データセットからサンプリングした例に対して、意図的に選ばれた変形を加えることで構築した挑戦用データセットSVAMPを導入する。最先端モデルによるSVAMP上での最高精度は、従来のベンチマークデータセットと比べて著しく低く、これにより、最も単純なMWPに対しても、まだ解決すべき課題が多数残っていることが示された。