초록
강화학습(RL)은 로봇이 실제 세계와의 상호작용을 통해 기술을 학습할 수 있도록 한다. 실질적으로, 딥 강화학습(Deep RL)에서 사용되는 비구조적인 단계 기반 탐색은 시뮬레이션에서는 매우 성공적이지만, 실제 로봇에서는 급작스럽고 불안정한 움직임 패턴을 초래한다. 이러한 불안정한 동작의 결과로 탐색 효율이 저하되거나, 심지어 로봇에 손상이 발생할 수 있다. 본 연구는 현재의 딥 강화학습 알고리즘에 상태에 따라 결정되는 탐색(State-Dependent Exploration, SDE)을 적응시키는 방식으로 이러한 문제를 해결한다. 이를 가능하게 하기 위해, 더 일반적인 특징을 사용하고, 노이즈를 주기적으로 재샘플링하는 두 가지 확장 기법을 제안하며, 이를 통해 일반화된 상태에 따라 결정되는 탐색(generalized State-Dependent Exploration, gSDE)이라는 새로운 탐색 방법을 도입한다. gSDE는 파이버전(PyBullet)의 연속 제어 작업에서 시뮬레이션 환경과 실제 세 가지 다른 로봇( tendon-driven elastic 로봇, 4족 보행 로봇, RC 자동차)을 대상으로 평가되었다. gSDE의 노이즈 샘플링 간격은 성능과 부드러움 사이의 균형을 가능하게 하여, 성능 저하 없이 실제 로봇에서 직접 학습이 가능하게 한다. 코드는 https://github.com/DLR-RM/stable-baselines3 에서 공개되어 있다.