시각 기반 강화 학습에서 저장된 임베딩을 통한 계산 효율성 향상

최근 오프-폴리시(Off-policy) 딥 강화학습(Reinforcement Learning, RL)의 발전으로 시각적 관측에서 복잡한 과제에 대해 놀라운 성과가 달성되고 있다. 경험 재생(Experience replay)은 과거의 경험을 재사용함으로써 샘플 효율성을 향상시키며, 컨볼루션 신경망(Convolutional Neural Networks, CNNs)은 고차원 입력을 효과적으로 처리할 수 있다. 그러나 이러한 기법들은 높은 메모리와 계산 대역폭을 요구한다. 본 논문에서는 이러한 계산 및 메모리 요구를 해결하기 위해 기존 오프-폴리시 RL 방법에 간단한 수정을 가한 Stored Embeddings for Efficient Reinforcement Learning(SEER)을 제안한다. CNN 인코더의 하위 레이어는 학습 초기에 파라미터가 빠르게 수렴함에 따라, 이를 조기에 고정(Freeze)함으로써 CNN 내 그래디언트 업데이트의 계산 부담을 줄인다. 또한, 경험 재생에 사용할 고차원 이미지 대신 저차원 잠재 벡터( latent vectors)를 저장함으로써 메모리 요구량을 감소시키며, 이는 제한된 메모리 환경에서 재생 버퍼 용량을 적응적으로 확장하는 데 유용한 기법이다. 실험을 통해 SEER가 다양한 DeepMind Control 환경과 Atari 게임에서 RL 에이전트의 성능을 저하시키지 않으면서도 계산량과 메모리 사용량을 크게 절감함을 입증하였다.