本文提出了一种最先进的循环神经网络（RNN）语言模型，该模型不仅从最终的RNN层计算概率分布，还结合了中间层的概率分布。我们提出的方法基于Yang等人（2018）引入的语言建模矩阵分解解释，提高了语言模型的表达能力。该方法改进了当前最先进的语言模型，并在标准基准数据集Penn Treebank和WikiText-2上取得了最佳成绩。此外，我们指出所提出的方法在两个应用任务中也表现出色：机器翻译和标题生成。我们的代码已公开发布在：https://github.com/nttcslab-nlp/doc_lm。