17日前

解釈可能な意思決定木の進化的学習

Leonardo Lucio Custode, Giovanni Iacca
解釈可能な意思決定木の進化的学習
要約

過去10年間、強化学習技術は複数のタスクにおいて人間レベルの性能を達成した。しかし近年、解釈可能性(interpretability)の重要性が浮き彫りとなった。すなわち、システムの動作原理やその意思決定の根拠を理解できるようにする必要がある。解釈可能性は、生成されたシステムの安全性を評価するためだけではなく、未知の問題に関する知識を抽出するためにも不可欠である。強化学習に適した決定木を最適化する手法はいくつか存在するが、それらは通常、貪欲法(greedy algorithms)を採用しているか、環境からの報酬を十分に活用していない。その結果、これらの手法は局所最適解に陥りやすいという問題がある。本研究では、決定木を用いた解釈可能な強化学習の新たなアプローチを提案する。進化的アルゴリズムの利点とQ学習の利点を統合した二段階最適化スキームを導入することで、問題を二つの部分問題に分解する。一つは状態空間の意味的かつ有用な分割を見つける問題であり、もう一つは各状態に対して適切な行動を関連付ける問題である。提案手法は、代表的な強化学習ベンチマーク3種類で評価された結果、性能および解釈可能性の観点で、現在の最先端技術と競合する水準の結果を示した。さらに、アブレーションスタディにより、単一層の最適化手法と比較して、非自明な環境において二段階最適化スキームが性能向上をもたらすことが確認された。

解釈可能な意思決定木の進化的学習 | 最新論文 | HyperAI超神経