命令文データセットのコレクションで言語モデルをファインチューニングすることが、モデルの性能と未見のタスクへの汎化能力を向上させることが示されています。本論文では、特に (1) タスク数のスケーリング、(2) モデルサイズのスケーリング、(3) 推論チェーンデータでのファインチューニングに焦点を当てて、指示ファインチューニングについて探求します。我々は、上記の側面での指示ファインチューニングが、様々なモデルクラス（PaLM、T5、U-PaLM）、プロンプト設定（ゼロショット、フューショット、CoT）、評価ベンチマーク（MMLU、BBH、TyDiQA、MGSM、オープンエンド生成）において大幅な性能向上をもたらすことを発見しました。例えば、1.8K のタスクで指示ファインチューニングされた Flan-PaLM 540B は PALM 540B を大きく上回る性能（平均 +9.4%）を示しました。Flan-PaLM 540B は五ショット MMLU において 75.2% の最先端の性能を達成しています。また、Flan-T5 のチェックポイントを公開しており、これにより PaLM 62B などの大規模なモデルと比較しても強力なフューショット性能が得られます。全体的に見て、指示ファインチューニングは事前学習済み言語モデルの性能と使い勝手を向上させる一般的な手法です。