ニューラル記号リーダー：読解における分散表現と記号表現のスケーラブルな統合

複雑な推論（例：数え上げ、並べ替え、算術演算など）を要する読解能力の実現には、分散表現（distributed representations）と記号的操作（symbolic operations）を統合することが不可欠であるが、現存する大多数のアプローチは、より多くのドメインやより複雑な推論にスケーラブルではない。本研究では、文章と質問をエンコードするリーダー（例：BERT）と、実行可能なプログラムを生成するプログラマー（例：LSTM）から構成されるニューラル記号読解モデル「Neural Symbolic Reader（NeRd）」を提案する。従来の手法と比較して、NeRdは以下の2点においてよりスケーラブルである：（1）ドメインに依存しない（domain-agnostic）：同一のニューラルアーキテクチャが異なるドメインに適用可能；（2）構成的（compositional）：必要に応じて、定義済みの演算子を再帰的に適用することで複雑なプログラムを生成でき、これによりより高度な推論に対する実行可能かつ解釈可能な表現が得られる。さらに、弱教師あり学習におけるNeRdの学習課題を克服するため、データ拡張技術としきい値付きハード期待最大化（hard Expectation-Maximization, EM）を適用した。DROPという離散的推論を要する難易度の高い読解データセットにおいて、NeRdはEMおよびF1スコアで、最先端手法に対してそれぞれ1.37%、1.18%の絶対的な性能向上を達成した。同アーキテクチャを用いてMathQA（複数ステップの推論を要する数学問題のベンチマーク）においても、すべての注釈付きプログラムを用いて学習した場合、正解率で25.5%の絶対的な向上を達成し、ベースラインを大きく上回った。特に重要なのは、プログラムの注釈がたった20%しか与えられていない状況下でも、NeRdは依然としてベースラインを上回る性能を発揮したということである。