解釈可能性と確率論的モデルベース安全強化学習のための階層的フレームワーク

複雑システムの物理モデルを特定する困難さから、そのような複雑なモデルに依存しない手法の探求が進んでいる。深層強化学習（Deep Reinforcement Learning, DRL）は、複雑システムとのインタラクションのみを通じて物理モデルに依存せずに問題を解決する先駆的な手法として注目されている。しかし、DRLはブラックボックス型の学習アプローチを採用しており、モデルが導き出した行動の説明ができないため、実世界や安全に敏感なシステムへの適用が困難である。さらに、DRLにおける未解決の研究課題として、スパースな領域における重要な意思決定のポリシー学習をどのように集中させるかが挙げられる。本論文では、安全が重要なシステムにおける深層強化学習の活用を目的とした新たなアプローチを提案する。この手法は、確率的モデリングと強化学習の利点を統合し、解釈可能性の向上という付加的利点を備え、従来の意思決定戦略と協調的かつ同期的に動作する。BC-SRLA（Behavior Cloning-based Safe Reinforcement Learning Agent）は、確率的モデルと強化学習の融合情報によって自律的に特定される特定の状況、例えば異常状態やシステムの故障直前などにおいて活性化される。また、ポリシークローン技術を用いてベースラインポリシーで初期化することで、環境との相互作用を最小限に抑えることにより、安全が重要な産業分野におけるRLの利用に伴う課題に対応する。本手法の有効性は、タービンエンジンのメンテナンスに適用した事例研究を通じて検証され、従来手法および他のベースラインと比較して優れた性能を示した。