再帰型ニューラルネットワーク文法は構文について何を学習するのか？

再帰ニューラルネットワーク文法（Recurrent Neural Network Grammars: RNNG）は、自然言語の確率的な生成モデルとして最近提案されたモデル群です。これらのモデルは、最先端の言語モデリングおよび構文解析性能を示しています。本研究では、言語学的観点からRNNGがどのような情報を学習するかを調査し、モデルやデータに対する様々な削除実験を通じて、さらにアテンションメカニズムを導入した拡張モデル（GA-RNNG）を使用して詳細な検証を行いました。その結果、最良の性能を達成するために明示的な合成のモデリングが重要であることが明らかになりました。アテンションメカニズムを通じて、フレーズ表現において中心性（headedness）が中心的な役割を果たしていることがわかりました（モデルの潜在的な注意は手作業で作成された中心規則による予測と大部分で一致していましたが、重要な違いも見られました）。非終端ラベルなしで文法を学習させることにより、フレーズ表現は非終端にほとんど依存しないことが判明しました。これは内中心性仮説（endocentricity hypothesis）を支持する結果となっています。