大規模言語モデルを用いた推論における自動モデル選択

チェーン・オブ・シンキング（CoT）とプログラム支援型言語モデル（PAL）は、それぞれ異なる推論手法を表しており、各々に独自の強みがあります。CoTは自然言語を用いることで柔軟性と解釈可能性を提供するのに対し、PALはプログラミング言語を用いることでより構造的で厳密な論理を実現します。本研究では、大規模言語モデル（LLM）を活用して動的に両者を切り替えるモデル選択手法を提案します。理論的分析により、本手法の実現可能性が示され、実証的な結果によってその有効性が裏付けられています。提案手法は、Codex、ChatGPT、GPT-4を用いた8つの推論データセットにおいて、顕著な性能向上を達成しました。さらに、本手法は自己整合性（self-consistency）と相補的であり、統合することで性能のさらなる向上が可能となるだけでなく、計算コストを大幅に削減できます。また、GSM8KおよびSVAMPにおいて、それぞれ96.8%および93.7%の精度という、新たな最先端の成果を達成しました。本研究のコード、データ、プロンプトは、https://github.com/XuZhao0/Model-Selection-Reasoning にて公開されています。