エージェントライトニング：強化学習でANY AIエージェントを訓練する

我々は、任意のAIエージェント向けに強化学習（RL）に基づく大規模言語モデル（LLM）の訓練を可能にする、柔軟かつ拡張性のあるフレームワーク「Agent Lightning」を提案する。既存の手法がRL訓練をエージェント本体と密結合するか、シーケンスの連結とマスキングに依存するのに対し、Agent Lightningはエージェントの実行と訓練の完全な分離を実現しており、LangChainやOpenAI Agents SDK、AutoGenといった異なるフレームワークを用いて開発されたエージェント、あるいは独自に構築されたエージェントと、ほぼゼロのコード変更でシームレスに統合できる。エージェントの実行をマルコフ決定過程（MDP）として定式化することで、統一されたデータインターフェースを定義し、報酬割り当てモジュールを備えた階層的強化学習アルゴリズム「LightningRL」を提案した。これにより、任意のエージェントが生成する遷移経路を訓練用の遷移に分解可能となり、マルチエージェント環境や動的ワークフローなど、複雑な相互作用ロジックの処理が可能となる。システム設計においては、「Training-Agent Disaggregation（訓練-エージェント分離）」アーキテクチャを導入し、エージェント実行時における観測性フレームワークを統合することで、標準化されたエージェントファインチューニングインターフェースを提供する。テキストからSQLへの変換、リトリーバー拡張生成、数学ツール利用といったタスクにおける実験結果から、安定かつ継続的な性能向上が確認され、本フレームワークが現実世界のエージェント訓練・デプロイに向けた大きな可能性を示している。