시간적으로 층화된 아키텍처를 활용한 어텐션 및 인지적 제어 비용 최적화

현재 강화학습 프레임워크는 성능에만 집중하는 경향이 있으며, 이는 효율성 측면에서 희생을 수반하는 경우가 많다. 반면 생물학적 제어 시스템은 뛰어난 성능을 달성하면서도 계산 에너지 소비와 결정 빈도를 동시에 최적화한다. 본 연구에서는 강화학습 환경에서 에이전트가 취할 수 있는 결정 횟수와 사용 가능한 계산 에너지를 제한하는 결정 제한 마르코프 결정 과정(Decision Bounded Markov Decision Process, DB-MDP)을 제안한다. 실험 결과, 기존의 강화학습 알고리즘이 이 프레임워크 내에서 큰 어려움을 겪으며 실패하거나 하위 성능을 보이는 것으로 나타났다. 이를 해결하기 위해, 생물학적 구조를 영감으로 삼은 시간적 계층 구조(Temporal Layered Architecture, TLA)를 도입한다. TLA는 서로 다른 시간 스케일과 에너지 요구를 갖는 두 계층을 통해 에이전트가 계산 비용을 효과적으로 관리할 수 있도록 한다. TLA는 결정 횟수가 제한된 환경에서 최적의 성능을 달성하며, 연속 제어 환경에서는 최첨단 기술 수준의 성능을 유지하면서도 계산 비용의 일부분만을 사용한다. 기존 강화학습 알고리즘이 성능만을 우선시하는 것과 달리, 본 연구의 접근법은 성능을 유지하면서도 계산 에너지 소비를 크게 감소시킨다. 이러한 결과는 에너지와 시간을 고려한 제어 기술에 대한 향후 연구를 위한 기준을 제시하며, 새로운 방향성을 제시한다.