0.1% の追加計算でスケーリング法則を超越する

言語モデルのスケーリングは性能を向上させる一方で、大きな計算コストが伴います。本論文では、UL2Rという手法を提案します。この手法は、比較的少ない追加計算量で既存の言語モデルとそのスケーリング曲線を大幅に改善します。主なアイデアは、最先端の大規模言語モデル（例：PaLM）をUL2の混合デノイザー目的関数でさらに数ステップ訓練することです。私たちは、ほとんど無視できるほどの追加計算コストと新たなデータ源なしで、大規模言語モデルのダウンストリーム指標におけるスケーリング特性を大幅に改善できることを示しています。本論文では、PaLMをUL2Rで継続的に訓練し、8B、62B、540Bスケールの新しいモデル群であるU-PaLMを導入します。驚くべきことに、540Bスケールにおいては、U-PaLMが最終的なPaLM 540Bモデルと同じ性能を約半分の計算予算で達成するため、約2倍の計算節約率（つまり、約440万TPUv4時間の節約）を示しています。さらに私たちは、この改善されたスケーリング曲線が挑戦的なBIG-Benchタスクでの「新規能力」につながることを示しています -- 例えば、U-PaLMはいくつかのタスクでPaLMよりも優れた結果を得たり、はるかに小さなスケール（62B対540B）でもより高い品質を示したりします。全体として私たちは、U-PaLMが多くのショット学習設定においてPaLMを上回ることを示しています。具体的には英語NLPタスク（例：常識推論、質問応答）、思考チェーンによる推論タスク（例：GSM8K）、多言語タスク（MGSM, TydiQA）、MMLUおよび挑戦的なBIG-Benchタスクなどでパフォーマンスが優れています。最後に、単一および複数区間補完におけるU-PaLMの新しい能力について定性的な例も提供します。