Teaching-Inspired Integrated Prompting Framework: 大規模言語モデルの推論能力向上に向けた新規アプローチ

大規模言語モデル（LLMs）は様々な分野で印象的な性能を示していますが、依然として算術推論タスクに苦戦しています。最近の研究では、プロンプト設計手法が推論能力の向上に効果的であることが示されています。しかし、これらのアプローチは、多くの算術推論問題を成功裏に解決するためには特定の概念、定理、およびテクニックに関する事前知識が重要であるという要件を見落としています。この課題に対処するために、私たちは教師が学生を指導する教育過程を模倣した新しいかつ効果的な教育型統合フレームワークを提案します。この方法により、LLMsは重要な概念、関連する定理、および類似した問題とその解法アプローチを装備し、推論能力の向上が促進されます。さらに、詳細な説明と解答付きの2つの新しい中国語データセット（MathMCとMathToF）を導入します。9つのベンチマークでの実験結果から、私たちのアプローチがLLMsの推論精度を改善することが示されました。GPT-4と私たちのフレームワークを使用することで、4つの数学ベンチマーク（AddSub, SVAMP, Math23K, AQuA）において新たな最先端性能を達成し、それぞれ98.2% (+3.3%)、93.9% (+0.2%)、94.3% (+7.2%)、81.1% (+1.2%) の精度を記録しました。当該データセットとコードは https://github.com/SallyTan13/Teaching-Inspired-Prompting で公開されています。