要約
読解モデルは抽出的な文章回答に成功裏に適用されてきましたが、これらのモデルを抽象的な数値回答に最適な方法で一般化するにはどうすればよいかはまだ明確ではありません。私たちは、BERTベースの読解モデルが軽量な数値推論を行うことを可能にする方法を開発しました。このモデルには、単純な算術操作や情報抽出を含む一連の事前定義された実行可能な「プログラム」を追加しました。これにより、モデルは直接数値を操作する必要なく、適切なプログラムを選択して実行することができます。最近公開されたDiscrete Reasoning Over Passages（DROP）データセットにおいて、このデータセットは読解モデルに対する挑戦を目的として設計されていますが、浅いプログラムを追加することで33%の絶対的な改善を示すことができました。さらに、数学文章問題設定（RoyとRoth, 2015）において、非常に少ない学習例を使用することで新しい演算を予測する能力も獲得できることを示しています。