Pythia：トレーニングおよびスケーリングにわたる大規模言語モデルの分析のためのツールキット

大規模言語モデル（LLM）は学習の過程でどのように発展し、進化するのか？また、モデルの規模が拡大するにつれてこれらのパターンはどのように変化するのか？こうした問いに答えるために、本研究では「Pythia」という16種類のLLMからなるフレームワークを紹介する。これらのモデルは、すべて同一の順序で公開データセットを学習しており、パラメータ数は7000万から120億まで多様である。各モデルについて154のチェックポイントを公開しており、さらにそれらの学習データローダーを正確に再構築・ダウンロード可能なツールも提供している。これにより、今後の研究における再現性と詳細な分析が可能となる。Pythiaは、多岐にわたる研究分野を促進することを目的としており、記憶の特性に関する新たな知見、少量の例（few-shot）性能における語頻度の影響、性別バイアスの低減に関する事例研究を提示している。本研究では、こうした極めて制御された設定が、LLMおよびその学習ダイナミクスに関する新たな知見を導く可能性を実証している。訓練済みモデル、分析コード、学習コード、および学習データは、以下のURLで公開されている：https://github.com/EleutherAI/pythia。