Command Palette
Search for a command to run...
ジュピター:ノートブックおよび推論時価値誘導型探索を活用したLLMデータ分析機能の向上
ジュピター:ノートブックおよび推論時価値誘導型探索を活用したLLMデータ分析機能の向上
Shuocheng Li Yihao Liu Silin Du Wenxuan Zeng Zhe Xu, et al
概要
大規模言語モデル(LLM)は、データサイエンスワークフローの自動化において大きな可能性を示しているが、現存のモデルは多段階の推論やツール利用において依然として課題を抱えており、複雑なデータ分析タスクにおける実効性に制限がある。これを解決するため、本研究では、実際のJupyterノートブックおよび関連データファイルから、高品質なツールを用いたデータ分析タスクと実行可能な多段階解決策を抽出するスケーラブルなパイプラインを提案する。このパイプラインを活用して、実践的なデータサイエンスの場面における本物のツール利用パターンを反映した、標準化されたタスク-解決策ペアから構成される大規模データセット「NbQA」を導入する。さらに、多段階推論能力の向上を図るため、データ分析を探索問題として定式化し、モンテカルロ木探索(MCTS)を用いて価値モデル学習に向けた多様な解決経路を生成するフレームワーク「Jupiter」を提案する。推論段階では、Jupiterは価値モデルとノード訪問回数を統合し、最小限の探索ステップで実行可能な多段階計画を効率的に収集する。実験結果から、NbQA上で評価したQwen2.5-7Bおよび14B-Instructモデルは、InfiAgent-DABench上でそれぞれ77.82%および86.38%のタスクを正しく解決した。これはGPT-4oや先進的なエージェントフレームワークと同等、あるいはそれを上回る性能を達成した。さらなる評価により、多様な多段階推論タスクにおいて、汎化能力およびツール利用推論能力の向上が確認された。