3ヶ月前

MACM:複雑な数学問題の解決における条件マイニングに向けたマルチエージェントシステムの活用

Bin Lei, Yi Zhang, Shan Zuo, Ali Payani, Caiwen Ding
MACM:複雑な数学問題の解決における条件マイニングに向けたマルチエージェントシステムの活用
要約

大規模言語モデル(例:GPT-4)の最近の進展は、標準的なクエリ処理において顕著な能力を示している。しかし、複雑な多段階論理推論を要する高度な数学的問題に対しては、その性能が著しく低下する。推論能力を向上させるために、現在の研究は「プロンプト工学(prompting engineering)」に注目しており、Tree of ThoughtやGraph of Thoughtといった手法が代表例として挙げられる。しかしながら、これらの既存手法には二つの重要な限界が存在する。第一に、複雑な数学的問題に対する効果は限定的である。第二に、個々の問題に対して別々のプロンプトを設計する必要があるため、汎用性に欠ける。こうした課題に応じて、本稿では「条件付きマイニングを目的としたマルチエージェントシステム」(Multi-Agent System for conditional Mining, MACM)と呼ばれる新たなプロンプト手法を提案する。本手法は、複雑な数学的問題の解決を可能にするとともに、さまざまな数学的文脈において高い汎用性を示す。MACMを活用することで、GPT-4 TurboのMATHデータセットにおける最も難易度の高いレベル5の数学問題に対する正答率は、54.68%から76.73%まで向上した。実装コードは、https://github.com/bin123apple/MACM にて公開されている。