言語モデリングにおける多くの先進的な手法は、新規で複雑かつ専門的なアーキテクチャを導入しています。本研究では、LSTM（Long Short-Term Memory）およびQRNN（Quasi-Recurrent Neural Network）に基づく既存の最先端の単語レベル言語モデルを取り上げ、それらをより大きな語彙量と文字レベルの粒度に拡張しました。適切に調整されたLSTMとQRNNは、それぞれ文字レベル（Penn Treebank、enwik8）および単語レベル（WikiText-103）のデータセットにおいて最先端の結果を達成しています。これらの結果は、単一の現代的なGPUを使用して、WikiText-103では12時間以内、enwik8では2日以内で得られています。