要約
私たちは、教師なし構文構造誘導が可能なニューラル言語モデルを提案します。このモデルは、構造情報を活用してより良い意味表現と言語モデルを形成します。標準的な再帰型ニューラルネットワークは、その構造の制約により、効率的に構文情報を利用することができません。一方、木構造を持つ再帰ネットワークは通常、人間の専門家によるアノテーションのコストを伴う追加的な構造監督を必要とします。本論文では、未アノテーションの文章から同時に構文構造を誘導し、推論された構造を利用してより良い言語モデルを学習できる新しいニューラル言語モデルであるパーシング・リーディング・プリディクト・ネットワーク（PRPN）を提案します。当モデルにおいては、言語モデルの損失からニューラルパーシングネットワークへ直接勾配が逆伝播することができます。実験結果は、提案したモデルが潜在的な構文構造を見出しつつ、単語/文字レベルの言語モデリングタスクで最先端の性能を達成できることを示しています。