最小から最大へのプロンプト提示は、大規模言語モデルにおける複雑な推論を可能にする

チェーン・オブ・トークン・プロンプティング（Chain-of-thought prompting）は、さまざまな自然言語推論タスクにおいて顕著な性能を示している。しかし、プロンプトに示された例題よりも難しい問題を解く必要があるタスクでは、その性能が低下しやすいという課題がある。この「容易な問題から難しい問題への一般化」の課題を克服するため、本研究では新たなプロンプティング戦略である「least-to-most prompting（最少から最多へ）」を提案する。この戦略の核心は、複雑な問題を一連の単純な部分問題に分解し、それらを順次解くことにある。各部分問題の解決は、既に解かれた前の部分問題の答えを活用することで容易になる。シンボリックな操作、構成的一般化、数学的推論に関するタスクにおける実験結果から、least-to-most promptingがプロンプトに示された問題よりも難易度の高い問題へと一般化できることが明らかになった。特に注目すべきは、GPT-3のコード・ダビンチ-002モデルをleast-to-most promptingと組み合わせた場合、わずか14例の例示データを用いて、SCANという構成的一般化のベンチマークにおいて、任意の分割（長さ分割を含む）で99％以上の精度で問題を解くことができたのに対し、チェーン・オブ・トークン・プロンプティングではわずか16％の精度にとどまったことである。これは特に意義深い結果であり、従来の文献に登場するSCAN問題に特化したニューラル・シンボリックモデルは、15,000例以上の訓練データを用いて全体の訓練セットで学習されているが、本手法は極めて少ない例示データで同等以上の性能を達成しているためである。本研究で用いたすべてのタスクに対するプロンプトは、付録に掲載している。