本論文では、最新の再帰型ニューラルネットワーク（RNN）言語モデルを提案します。このモデルは、最終的なRNN層だけでなく中間層からも計算された確率分布を組み合わせています。我々が提案する手法は、Yangら（2018）によって導入された言語モデリングの行列因子分解解釈に基づいて、言語モデルの表現力を向上させます。提案手法は現在の最先端の言語モデルを改善し、標準的なベンチマークデータセットであるPenn TreebankとWikiText-2で最高のスコアを達成しました。さらに、我々は提案手法が機械翻訳と見出し生成という二つの応用タスクに貢献することを示しています。我々のコードは以下のURLで公開されています: https://github.com/nttcslab-nlp/doc_lm.