Few-Shot Learning（少样本学習）とは、大規模言語モデルのプロンプトに少量の例を提供し、モデルがコンテキストを通じて現在のタスクを学習させる用法であり、一般的にはモデルの重みを更新しません。ゼロショット（zero-shot）、ワンショット（one-shot）、およびフェューショット（few-shot）は、プロンプト内の例の数量による一般的な区別を表しています。広義のFew-Shot Learningには、メタ学習やファインチューニングなどの訓練・適応手法も含まれており、これらはすべてコンテキスト学習と同一であるわけではない点に注意が必要です。

2020年、Brownらは論文《Language Models are Few-Shot Learners》でGPT-3を提案し、このアプローチを世に広めました。このモデルは1750億のパラメータを持ち、従来の最大の非スパース言語モデルの10倍の規模でした。すべてのタスクにおいて勾配更新やファインチューニングを行わず、タスクの説明と例を純粋にテキスト形式でプロンプトに組み込みます。翻訳、質問応答、穴埋め、単語の並べ替え、新語の使用など、その場での推論が必要なタスクにおいて強力な性能を発揮し、単一タスク向けに精確にファインチューニングされた最先端モデルに匹敵する結果を時折示します。

これはまた、同じモデルでもプロンプトの与え方によって性能が大きく変動する理由を説明しています。コンテキスト学習は「例をどのように提示するか」に対して極めて敏感だからです。これは「タスクごとにモデルを訓練する」から「一つのモデルがプロンプトを通じてすべてのタスクに適応する」へとパラダイムを変え、プロンプトエンジニアリングとコンテキスト学習の発展を直接促しました。一方で限界も明らかであり、結果はプロンプトの表現や例の選択に大きく依存し、例の選び方や並べ順が結果に影響を与えます。さらに、例の数はコンテキストウィンドウの制限を受け、複雑な推論タスクにはより構造化された手法が必要となります。

[JIALIU_0]