적응형 합리적 활성화를 통한 딥 강화 학습 성능 향상

최근 생물학적 연구에서 지능은 뉴런 간의 연결뿐 아니라 개별 뉴런이 이전까지 예상된 것보다 훨씬 더 많은 계산적 책임을 수행한다는 점이 밝혀졌다. 이러한 관점은 지속적으로 변화하는 다양한 강화학습 환경에서 특히 중요하다. 그러나 현재의 접근 방식은 여전히 정적 활성화 함수를 주로 사용하고 있다. 본 연구에서는 유리 함수(rational functions)가 적응형 활성화 함수에 적합한 이유와 신경망에 이를 포함시킬 필요성이 왜 중요한지를 제시한다. 잔차망(residual networks)의 재귀성에 영감을 받아, 유리 단위(rational units)가 잔차 연결에 대해 닫혀 있는 조건을 도출하고, 자연스럽게 정규화된 형태인 '재귀-유리(recurrent-rational)'를 제안한다. 실험을 통해 기존의 대표적인 알고리즘에 (재귀-)유리 활성화 함수를 도입하면 아타리 게임에서 일관된 성능 향상을 보이며, 특히 단순한 DQN을 고성능의 접근법으로 개선하여 DDQN 및 Rainbow와 경쟁할 수 있는 수준까지 도달함을 입증한다.