ToRA：数学問題解決のためのツール統合型推論エージェント

大規模言語モデルは、さまざまな言語タスクにおいて顕著な進展を遂げているが、複雑な数学問題に対しては依然として課題を抱えている。本論文では、自然言語による推論と外部ツール（例：計算ライブラリや記号計算ソルバ）の活用をシームレスに統合することで、困難な数学問題を解決することを目的としたツール統合型推論エージェント「ToRA」を提案する。このアプローチにより、言語モデルの分析的優位性とツールの計算効率を統合し、より強力な数学的推論能力を実現する。ToRAの訓練には、数学データセット上でインタラクティブなツール利用軌道を収集し、そのアノテーションに基づいて模倣学習を適用するとともに、出力空間の形状調整（output space shaping）を提案してモデルの推論行動をさらに最適化した。その結果、ToRAモデルは全スケールで10の数学的推論データセットにおいて、オープンソースモデルを顕著に上回り、平均して13～19%の絶対的な性能向上を達成した。特に、ToRA-7Bは競技レベルのデータセットMATHにおいて44.6%の精度を達成し、最良のオープンソースモデルであるWizardMath-70Bを22%の絶対差で上回った。また、ToRA-Code-34Bは、MATHで50%を超える精度を達成する最初のオープンソースモデルであり、GPT-4のコモンセンス推論（CoT）結果を大きく上回るとともに、プログラムによる問題解決においてGPT-4と同等の性能を示した。さらに、ツール連携による数学的推論の利点と残された課題について包括的な分析を行い、今後の研究に向けた貴重な知見を提供した。