厳密に制御された事前学習設定下において、我々は「クロスオーバー」現象を観察した。すなわち、ユニークなデータが限られる状況では、拡散型言語モデル（DLM）は、より多くのエポックにわたって学習することで、自己回帰型（AR）モデルを一貫して上回る。このクロスオーバーの発生タイミングは、データ量が増加するか、データ品質が向上すると後ろにずれ、モデルが大きくなるほど前倒しになり、密接なアーキテクチャと疎なアーキテクチャの両方で持続する。この性能向上の要因は、以下の三つの相乗効果に起因すると考える：（1）任意の順序でのモデリング、（2）反復的双方向ノイズ除去によって得られる超密な計算負荷、（3）組み込み型のモンテカルロオーギュメンテーション。入力やパラメータのノイズは、データ制約下でARモデルの性能を改善するが、性能差を埋めることはできない。スケーリングされた環境下では、100億個のユニークなPythonトークンを用い、約1.5兆トークンの計算量（compute budget）を活用して学習した17億パラメータのDLMが、設定を厳密に一致させたARモデルを上回る。さらに、10億パラメータのDLMは、特別なテクニックを用いずに、標準的な事前学習データを繰り返し使用するだけで、HellaSwagで56％以上、MMLUで33％以上の精度を達成した。また、本研究では、この領域において、検証用交差エントロピーの上昇が、下流タスクの性能低下を意味するわけではないことを示した。