Heng Lin Zhongwen Xu

要約

ツール統合型推論（Tool-Integrated Reasoning, TIR）が大規模言語モデル（Large Language Models, LLMs）の能力をどのように向上させるかを検討する。Pythonコードインタプリタのようなツールを統合したLLMsは大きな可能性を示しているが、このアプローチがなぜ有効であるかを説明する体系的な理論はこれまで欠けていた。本研究では、TIRがLLMの能力を本質的に拡張することを初めて形式的に証明した。ツールがモデルの経験的および実現可能なサポート領域を厳密に拡張することを示し、純テキストモデルでは到達不可能または極めて冗長となる問題解決戦略を解禁することで、能力の限界を突破することを明らかにした。訓練の安定性と性能を損なうことなくモデルの行動を適切に誘導するため、本研究では、アドバンテージ関数を直接修正することで方策行動をガイドする新しいアルゴリズム「アドバンテージ・シェーピング・ポリシー最適化（Advantage Shaping Policy Optimization, ASPO）」を提案する。また、外部ツールとしてPythonインタプリタを活用し、困難な数学ベンチマーク上で包括的な実験を実施した。その結果、TIRモデルは純テキストモデルと比較して、pass@k指標において顕著に優れた性能を発揮することが明らかになった。特に重要なのは、この優位性が計算負荷の高い問題に限定されるものではなく、高度な抽象的洞察を要する問題にも及ぶ点である。さらに、モデルがツールを用いて考えるプロセスを示す「出現する認知パターン」を同定した。最後に、ASPOを用いることで、コードの早期呼び出しやより多くの対話ターンが実現され、ツール利用行動が改善されたことを報告する。総じて、本研究はTIRの成功に対する初めての体系的な説明を提供し、ツールが「機能する」という事実から、「なぜ」そして「どのように」より強力な推論を可能にするかという本質的な理解へと視点を転換した。