要約
再発行ニューラルネットワーク（Recurrent Neural Network: RNN）のアーキテクチャに関する継続的な革新により、言語モデルのベンチマークにおいて一見最先端の結果が安定的に提供されてきました。しかし、これらの評価は異なるコードベースと限られた計算リソースを使用しており、実験変動の制御できない要因となっています。本研究では、大規模な自動ブラックボックスハイパーパラメータチューニングを用いていくつかの人気のあるアーキテクチャと正則化手法を再評価し、標準的なLSTMアーキテクチャが適切に正則化された場合、より最近のモデルよりも優れた性能を示すというやや驚くべき結論に達しました。私たちはPenn TreebankおよびWikitext-2コーパスで新しい最先端の結果を樹立し、Hutter Prizeデータセットでも強力なベースラインを確立しました。