초록
목표 표현은 복잡한 학습 문제를 더 간단한 하위 작업들로 분해함으로써 계층 강화 학습(Hierarchical Reinforcement Learning, HRL) 알고리즘의 성능에 영향을 미친다. 최근 연구들은 시간적으로 추상화된 환경 동역학을 유지하는 표현 방식이 어려운 문제 해결에 성공적으로 활용되며, 최적성에 대한 이론적 보장을 제공함을 보여주었다. 그러나 이러한 방법들은 환경 동역학의 복잡성이 증가하는 경우, 즉 시간적으로 추상화된 전이 관계가 더 많은 변수에 의존하게 되는 경우에 확장성이 부족하다. 반면, 다른 연구들은 공간적 추상화를 활용하여 이전 문제들을 완화하려는 시도를 해왔다. 그러나 이러한 접근법은 고차원 환경에 대한 확장성 문제와 사전 지식에 대한 의존성이라는 한계를 가지고 있다.본 논문에서는 계층의 서로 다른 수준에서 공간적 및 시간적 목표 추상화를 동시에 도입하는 새로운 삼중 계층 HRL 알고리즘을 제안한다. 제안된 방법에 대해 학습된 정책의 후회 한계(regret bounds)에 대한 이론적 분석을 제공하며, 복잡한 연속 제어 과제에서 제안된 접근법의 효과를 검증한다. 이를 통해 학습된 공간적 및 시간적 추상화의 유용성을 입증한다. 오픈소스 코드는 다음 주소에서 확인할 수 있다: https://github.com/cosynus-lix/STAR.