要約
強化学習（RL）により、ロボットは現実世界との相互作用からスキルを学習することが可能になります。実際の現場では、ディープ強化学習（Deep RL）で用いられる非構造的なステップベースの探索は、シミュレーションでは非常に成功を収めるものの、実機ロボットでは不規則な運動パターンを引き起こします。この結果として生じる振動した挙動は、探索効率の低下、あるいはロボット自体の損傷を引き起こす可能性があります。本研究では、現在のディープ強化学習アルゴリズムに適応可能な状態依存的探索（SDE）を活用することで、これらの課題を解決します。その実現のため、元来のSDEに二つの拡張を提案します。第一に、より一般的な特徴量を用いることで、状態空間の表現力を向上させ、第二に、ノイズの再サンプリングを周期的に行うことで、探索の安定性を向上させます。これにより、一般化状態依存的探索（gSDE）と呼ばれる新しい探索手法を構築しました。gSDEは、PyBulletを用いた連続制御タスクにおけるシミュレーション環境および、腱駆動弾性ロボット、四足歩行ロボット、RCカーの3種類の実機ロボット上での評価を通じて検証されました。gSDEのノイズサンプリング間隔の調整により、性能と滑らかさのバランスを最適化でき、実機上での直接学習が性能の低下を伴わずに可能になります。本研究のコードは、https://github.com/DLR-RM/stable-baselines3 にて公開されています。