17日前

数学文章問題向けの目的駆動型木構造ニューラルモデル

{Zhipeng Xie and Shichao Sun}
数学文章問題向けの目的駆動型木構造ニューラルモデル
要約

数学文章問題に対する既存の多数のニューラルモデルは、左から右へと順次的に解法式を生成するSeq2Seqモデルを採用しているが、人間の問題解決において見られるような目標駆動型メカニズムが欠如しているため、その性能は満足できるものではない。本論文では、目標駆動型のアプローチで式木(expression tree)を生成する木構造ニューラルモデルを提案する。与えられた数学文章問題に対して、モデルはまず達成すべき目標を特定し、それを符号化する。その後、その目標はトップダウン方式で再帰的に演算子によって結合された部分目標に分解される。このプロセスは、最終的に既知の量によって葉ノードとして実現可能なほど単純な目標に達するまで繰り返される。この過程において、各ステップの目標分解を実現するための二層構造のゲート付きフィードフォワードネットワークを設計し、達成された部分木を再帰的ニューラルネットワーク(recursive neural network)により部分木埋め込み(subtree embeddings)に符号化する。これにより、部分木の単純な目標よりもより優れた表現が得られる。Math23Kデータセットにおける実験結果から、本研究で提案する木構造モデルが、複数の最先端モデルを顕著に上回ることを示した。