ソフトマックスのボトルネックを打破する：高階数RNN言語モデル

言語モデル化を行列分解問題として定式化し、Softmaxベースのモデル（大半のニューラル言語モデルを含む）の表現力がSoftmaxボトルネックによって制限されていることを示しました。自然言語は非常に文脈依存であるため、これは実際には分散単語埋め込みを使用したSoftmaxが自然言語を十分にモデル化する能力を持たないことを意味します。この問題に対処するための単純かつ効果的な方法を提案し、Penn TreebankおよびWikiText-2での最先端のパープレキシティをそれぞれ47.69と40.68に改善しました。提案された方法は大規模な1B Wordデータセットでも優れた性能を発揮し、基線モデルに対してパープレキシティで5.6ポイント以上上回っています。