大規模言語モデルはゼロショット推論器である

事前学習された大規模言語モデル（LLM）は、自然言語処理（NLP）の多くのサブフィールドで広く使用されており、タスク固有の例を用いた優れた少ショット学習者として一般的に知られています。特に、ステップバイステップの回答例を通じて複雑な多段階推論を引き出す最近の手法である思考連鎖（CoT）プロンプティングは、通常のスケーリング法則に従わない算術や象徴的推論などの難しいシステム2タスクにおいて最先端の性能を達成しました。これらの成功はしばしばLLMの少ショット学習能力に帰されますがあら、私たちは「Let's think step by step」（一歩ずつ考えましょう）というフレーズを各回答の前に追加するだけで、LLMが十分なゼロショット推論能力を持つことを示しています。実験結果は、当社のゼロショット-CoTが手作りの少ショット例を使用せずに、「MultiArith」「GSM8K」「AQUA-RAT」「SVAMP」などの算術的なベンチマーク推論タスク、「Last Letter」「Coin Flip」などの象徴的推論タスク、「Date Understanding」「Tracking Shuffled Objects」などの他の論理的推論タスクにおいて、多様な基準推論タスクで大幅にゼロショットLLMパフォーマンスを上回ることを証明しています。例えば、大規模なInstructGPTモデル（text-davinci-002）を使用して、「MultiArith」での精度が17.7%から78.7%へ、「GSM8K」での精度が10.4%から40.7%へと向上しました。また、別の既製の大規模モデルである540BパラメータのPaLMでも同程度の改善が見られました。この単一プロンプトが非常に多様な推論タスクに対して汎用性を持っていることは、LLMに未発見かつ研究不足の基本的なゼロショット能力があることを示唆しており、単純なプロンプトによって高レベルで多機能的な広範な認知能力が抽出できる可能性があります。私たちは本研究が挑戦的な推論ベンチマークに対する最小限で最強のゼロショットベースラインとなるだけでなく、ファインチューニングデータセットや少ショット例を作成する前に、LLM内部に隠された膨大なゼロショット知識を慎重に探索し分析することの重要性も強調することを期待しています。