要約
再帰型ニューラルネットワークは、言語モデルなどのタスクにおいて単語の系列を予測する点で非常に成功しています。しかし、これらのすべてのモデルは従来の分類フレームワークに基づいており、モデルはワンホットターゲットに対して訓練され、各単語は入力と出力として孤立して表現されます。これにより、情報の利用や学習に必要なパラメータ数の面で効率が低下します。本研究では、言語モデリングにおけるより良い学習を促進する新しい理論的枠組みを導入し、その枠組みが入力埋め込み行列と出力射影行列を結びつけることによって学習可能な変数の数を大幅に削減することを示します。我々の枠組みは、さまざまなネットワークモデルを使用してPenn Treebankでの最先端の性能を達成しています。注：「ワンホットターゲット」（one-hot targets）、「入力埋め込み行列」（input embedding）、「出力射影行列」（output projection matrices）などの専門用語については一般的な訳を使用しました。