要約
SGD（確率的勾配降下法）はエポック間で訓練データをシャッフルする必要があるが、現行の単語レベル言語モデルシステムではこれを実施していない。訓練データ内のすべての文を単純にシャッフルすると、モデルが文間の依存関係を学習できなくなる。本稿では、エポック間で訓練データを部分的にシャッフルする方法を提案する。この方法により、バッチごとにランダム性を持たせつつ、大部分の文の順序を維持することが可能となる。結果として、Penn TreebankおよびWikiText-2データセットにおいて単語レベル言語モデリングにおける新たな最先端の成果を達成した。