17日前

数学文章問題における内部関係のモデリング:異なる機能的マルチヘッドアテンションを用いた手法

{Lei Wang, Jipeng Zhang, Bing Tian Dai, Yan Wang, Jierui Li, Dongxiang Zhang}
数学文章問題における内部関係のモデリング:異なる機能的マルチヘッドアテンションを用いた手法
要約

数学文章問題(Math Word Problems, MWPs)を自動的に解くための深層学習モデルが多数提案されている。これらのモデルは手動による特徴抽出なしに特徴を捉える能力を持つが、その特徴抽出アプローチはMWPsに特化して設計されていない。深層学習モデルの利点を活かしつつ、MWPsに特有の特徴を併せて考慮するため、本研究では、MWPsにおいてそれぞれのグローバル特徴、数量関連特徴、数量ペア特徴、および質問関連特徴を効果的に抽出できる「グループアテンション機構」を提案する。実験結果から、提案手法は従来の最先端手法と比較して顕著な性能向上を示し、Math23Kデータセットにおけるトレーニング・テスト分割評価では66.9%から69.5%へ、5-fold交差検証では65.8%から66.9%へ、またMAWPSデータセットでは69.2%から76.1%へと性能が向上した。