초록
지난 10년 동안 강화학습 기법은 여러 과제에서 인간 수준의 성능을 달성해왔다. 그러나 최근 들어 해석 가능성(Interpretability)의 필요성이 부각되고 있다. 즉, 시스템이 어떻게 작동하는지, 그리고 그 결정의 근거가 무엇인지 이해할 수 있어야 한다는 요구가 생긴 것이다. 시스템의 안전성을 평가하기 위해 해석 가능성뿐만 아니라, 미지의 문제에 대해 지식을 추출하기 위해서도 이는 필수적이다. 강화학습을 위한 의사결정나무(Decision Tree) 최적화 기법은 일부 존재하지만, 일반적으로 탐욕적 알고리즘(Greedy Algorithm)을 사용하거나 환경으로부터 제공되는 보상(reward)을 효과적으로 활용하지 못한다. 이로 인해 이러한 기법들은 국소 최적해에 쉽게 갇힐 수 있다. 본 연구에서는 의사결정나무를 활용한 해석 가능한 강화학습을 위한 새로운 접근법을 제안한다. 진화 알고리즘의 장점과 Q-학습의 장점을 결합한 이중 수준 최적화 방식을 제시함으로써 문제를 두 개의 하위 문제로 분해한다. 첫 번째는 상태 공간의 의미 있고 유용한 분해를 찾는 문제이고, 두 번째는 각 상태에 적절한 행동을 연결하는 문제이다. 제안된 방법은 세 가지 유명한 강화학습 벤치마크에서 검증되었으며, 성능과 해석 가능성 측면에서 최신 기술과 경쟁 가능한 결과를 보였다. 마지막으로, 비트리비얼한 환경에서 이중 수준 최적화 방식이 단일 레이어 최적화 기법에 비해 성능 향상이 있음을 확인하는 아블레이션(Ablation) 연구를 수행하였다.