トレーニング（Training）とは、データの反復を通じてモデルのパラメータを調整し、入力から出力への写像関係にモデルを適合させることを指します。現在の大型モデルは通常、2段階のプロセスを採用しています。第1段階では、膨大なテキストデータで事前学習を実行し、その目的は次のトークンを予測することです。第2段階では、少量の高品質データを用いて事後学習を実行し、モデルの挙動をテキストの継続から指示への追従へと変化させます。

2022年、Ouyangらは論文《Training language models to follow instructions with human feedback》において、事後学習の古典的なプロセスを提案しました。まずアノテーターが模範解答を作成し、次に同一の質問に対する複数の出力に対する人間の選好順位に基づいて報酬信号を構築し、これに基づいてモデルの最適化を継続します。結果として、パラメータ数が1.3BのInstructGPTは、パラメータ数が175BのGPT-3よりも人間の選好が高い出力を生成することが示されました。前者のパラメータ数は後者の約1%であるにもかかわらず、真実性と毒性の指標においてより優れた性能を示しました。この結果は、事後学習がパラメータ規模を拡大することなく、モデルの有用性を大幅に向上させ得ることを示しています。その後、「事前学習＋事後学習」が大型モデルのトレーニングにおける標準的なプロセスとなりました。

[JIALIU_0]