NetHack 학습 환경

강화학습(RL) 알고리즘의 발전은 현재 방법들의 한계를 시험하는 도전적인 환경의 개발과 함께 이루어집니다. 기존의 RL 환경들은 충분히 복잡하거나 빠른 시뮬레이션을 기반으로 하고 있지만, 두 가지를 모두 만족시키는 경우는 드뭅니다. 본 연구에서는 인기 있는 단일 플레이어 터미널 기반 롤플레잉 게임인 NetHack을 기반으로 한 RL 연구용 확장 가능, 절차적으로 생성된, 확률적, 풍부하고 도전적인 환경인 NetHack 학습 환경(NLE)을 소개합니다. 우리는 NetHack이 탐색, 계획, 스킬 획득, 언어 조건부 RL 등의 문제에 대한 장기 연구를 촉진할 만큼 충분히 복잡하다고 주장하며, 대량의 경험을 수집하기 위해 필요한 계산 자원을 크게 줄일 수 있음을 강조합니다. NLE와 그 작업 모음(task suite)을 기존 대안들과 비교하고, 왜 이 환경이 RL 에이전트의 견고성과 체계적인 일반화 능력을 시험하기에 이상적인 매개체인지 논의합니다. 분산 딥 RL 베이스라인과 무작위 네트워크 증류(Random Network Distillation) 탐색 방법을 사용하여 게임 초기 단계에서의 실증적 성공 사례를 제시하며, 해당 환경에서 훈련된 다양한 에이전트에 대한 정성적 분석도 함께 제공합니다. NLE는 오픈 소스로 https://github.com/facebookresearch/nle에서 이용 가능합니다.