要約

複雑な現実世界のタスクを解決するために一連の知能的な意思決定を行うことができる自律型大規模言語モデル（LLM）エージェントの開発は、急速に進展する最先端分野である。人間の認知発達と同様、エージェントは環境との探索的相互作用を通じて知識やスキルを習得することが期待されている。しかし、技術の進展にもかかわらず、多様で現実的な環境において、教師あり微調整（SFT）に依存せずに、初期状態から効果的にエージェントを訓練できる統一的かつインタラクティブな強化学習（RL）フレームワークの欠如が、研究コミュニティにおける大きな課題となっている。このギャップを埋めるために、本研究では、RLを用いて多ターンのインタラクティブ意思決定を実現するLLMエージェントを訓練するための新規フレームワーク「AgentGym-RL」を提案する。本フレームワークはモジュール化かつ分離型のアーキテクチャを採用しており、高い柔軟性と拡張性を確保している。また、多様な現実世界のシナリオをカバーし、主流の強化学習アルゴリズムをサポートする。さらに、探索と活用のバランスを最適化し、安定したRL最適化を実現するための訓練手法「ScalingInter-RL」を提案する。初期段階では、相互作用回数を制限することで活用を重視し、段階的にホライズンを拡大することで探索へと移行し、多様な問題解決戦略の獲得を促進する。これにより、エージェントはより多様な行動を獲得でき、長期のホライズン下でも崩壊しにくくなる。本研究では、AgentGym-RLフレームワークおよびScalingInter-RL手法の安定性と有効性を検証するため、広範な実験を実施した。実験の結果、我々のエージェントは、多様な環境で実施された27のタスクにおいて、商用モデルと同等またはそれを上回る性能を達成した。本研究では重要な知見を提示し、コードとデータセットを含む完全なAgentGym-RLフレームワークをオープンソース化することで、次世代の知能エージェントの開発を支援する研究コミュニティの発展を促進する。