Zitong Yang Aonan Zhang Hong Liu Tatsunori Hashimoto Emmanuel Candès Chong Wang Ruoming Pang

要約

我々は、合成ブートストラップ事前学習（Synthetic Bootstrapped Pretraining, SBP）という言語モデル（LM）の事前学習手法を提案する。この手法は、事前学習データセットからドキュメント間の関係性をまずモデル化し、そのモデルを活用して大量の新たなコーパスを合成し、それを共同学習に用いる。従来の事前学習では、単一ドキュメント内のトークン間の因果的相関関係を学習することが目的であるが、それらはドキュメント間の豊かな学習可能な相関関係を効率的にモデル化するように設計されていない。SBPの有効性を検証するために、計算リソースを同等にした事前学習設定を設計し、スクラッチから最大1Tトークンのデータを用いて30億パラメータのモデルを事前学習した。その結果、SBPは強力な繰り返しベースラインを一貫して上回り、20倍のユニークデータにアクセス可能なオラクル上界が達成可能な性能向上の著しい割合を実現していることがわかった。定性的な分析から、合成されたドキュメントは単なる言い換えを越えており、SBPはまず入力素材から核心的概念を抽象化し、その上で新たな物語を構築していることが明らかになった。SBPは優れた実証的性能を示すだけでなく、自然なベイズ的解釈が可能であることも特徴的である。すなわち、合成器は関連するドキュメント間に共通する潜在的概念を暗黙的に抽象化する能力を学習している。