3日前

We-Math 2.0:視覚的数学的推論を促進するための汎用的な数学書システム

Runqi Qiao, Qiuna Tan, Peiqing Yang, Yanzi Wang, Xiaowan Wang, Enhui Wan, Sitong Zhou, Guanting Dong, Yuchen Zeng, Yida Xu, Jie Wang, Chong Sun, Chen Li, Honggang Zhang
We-Math 2.0:視覚的数学的推論を促進するための汎用的な数学書システム
要約

マルチモーダル大規模言語モデル(MLLMs)は、さまざまなタスクにおいて顕著な能力を示しているが、複雑な数学的推論に関しては依然として課題を抱えている。既存の研究は主にデータセットの構築や手法の最適化に注力しており、包括的な知識駆動型設計およびモデル中心のデータ空間モデリングという2つの重要な側面を無視しがちである。本論文では、構造化された数学的知識システム、モデル中心のデータ空間モデリング、および強化学習(RL)を活用した学習枠組みを統合した統合型システム「We-Math 2.0」を提案する。We-Math 2.0の主な貢献は以下の4点である。(1)MathBook知識システム:491の知識ポイントと1,819の基本原則を含む、5段階の階層構造を持つ知識システムを構築した。(2)MathBook-Standard および MathBook-Pro:MathBook-Standardは、二重拡張を用いて広範な概念カバレッジと柔軟性を確保するデータセットである。さらに、三次元の難易度空間を定義し、各問題に対して7つの段階的なバリエーションを生成することで、モデルの堅牢な学習に適した難易度の高いデータセット「MathBook-Pro」を構築した。(3)MathBook-RL:2段階の強化学習フレームワークを提案した。① クールスタート微調整(Cold-Start Fine-tuning):知識指向の思考過程(chain-of-thought)推論にモデルを整合させる。② 段階的整合強化学習(Progressive Alignment RL):平均報酬学習と動的データスケジューリングを活用し、難易度レベルに応じた段階的な整合を実現した。(4)MathBookEval:全491の知識ポイントをカバーし、多様な推論ステップ分布を含む包括的なベンチマークを導入した。実験結果から、MathBook-RLは4つの広く用いられているベンチマークにおいて既存のベースラインと競合する性能を示し、MathBookEvalでは優れた結果を達成した。これらは、数学的推論における有望な一般化能力を示唆している。

We-Math 2.0:視覚的数学的推論を促進するための汎用的な数学書システム | 最新論文 | HyperAI超神経