プログレッシブヒントプロンプティングは、大規模言語モデルの推論能力を向上させる

大規模言語モデル（LLM）の推論タスクにおける性能は、プロンプト設計に大きく依存しており、チェーン・オブ・サム（CoT）やセルフコンシステンシーといった手法がその能力を向上させる上で重要な役割を果たしている。しかし、これらの手法はLLMが生成した回答を、その後の応答を導くために十分に活用していない。本論文では、以前に生成された回答をヒントとして用いることで、ユーザーとLLMとの自動的な複数回の相互作用を可能にする新しいプロンプト手法、Progressive-Hint Prompting（PHP）を提案する。PHPはCoTやセルフコンシステンシーと直交するため、最先端の技術と容易に組み合わせることができ、さらに性能を向上させることができる。本研究では7つのベンチマークにおいて広範かつ包括的な実験を実施した。その結果、PHPは高い効率性を維持しつつ、精度を顕著に向上させることを示した。例えば、text-davinci-003を用いた場合、グリーディデコードにおいてComplex CoTと比較してGSM8Kで4.2%の精度向上が観察され、セルフコンシステンシーではサンプルパス数が46.17%削減された。また、GPT-4とPHPを組み合わせることで、SVAMP（89.1% → 91.9%）、GSM8K（92% → 95.5%）、AQuA（76.4% → 79.9%）、MATH（50.3% → 53.9%）において、いずれも最先端の性能を達成した。