11日前

生成とランク付け:数学文章問題向けのマルチタスクフレームワーク

Jianhao Shen, Yichun Yin, Lin Li, Lifeng Shang, Xin Jiang, Ming Zhang, Qun Liu
生成とランク付け:数学文章問題向けのマルチタスクフレームワーク
要約

数学文章問題(Math Word Problem; MWP)は自然言語処理分野における困難かつ重要なタスクである。近年の多くの研究では、MWPを生成タスクとして定式化し、問題文を数学的式に変換するためのシーケンス・トゥ・シーケンスモデルを採用している。しかし、数学的式は微小な誤りを含みやすい一方で、生成目的関数はこうした誤りを明示的に扱う仕組みを備えていない。この制約を克服するために、本研究ではMWP向けに新たなランキングタスクを設計し、生成型事前学習言語モデルを基盤とするマルチタスクフレームワーク「Generate & Rank」を提案する。生成とランキングを同時学習させることで、モデルは自身の誤りから学習し、正しく正しい式と誤った式を区別できるようになる。さらに、MWPに特化した木構造に基づく擾乱(disturbance)手法を導入し、オンライン更新機構を用いてランカーの性能を向上させた。ベンチマークデータセット上での実験により、本手法の有効性を実証した。その結果、すべてのデータセットにおいてベースラインを一貫して上回ることが確認された。特に古典的データセットであるMath23kにおいては、最先端手法よりも7%(78.4% → 85.4%)高い精度を達成した。

生成とランク付け:数学文章問題向けのマルチタスクフレームワーク | 最新論文 | HyperAI超神経