GPT-NeoX-20Bの導入について紹介します。これは、200億パラメータを持つ自己回帰言語モデルで、Pileデータセット上で訓練されています。当該モデルの重みは、許諾ライセンスを通じて自由に公開されます。当社が知る限り、提出時においてGPT-NeoX-20Bは公開されている重みを持つ最大の密結合自己回帰モデルです。本研究では、モデルのアーキテクチャと訓練方法を説明し、言語理解、数学、知識ベースのタスクにおける性能評価を行います。その結果、GPT-NeoX-20Bは特に強力な少ショット推論能力を持ち、5ショット評価では同規模のGPT-3やFairSeqモデルよりも大幅に性能が向上することがわかりました。また、訓練および評価コード、モデルの重みをオープンソース化し、https://github.com/EleutherAI/gpt-neox で提供しています。