ViZDoom: 시각적 강화학습을 위한 Doom 기반 AI 연구 플랫폼

최근의 딥 뉴럴 네트워크 발전은 픽셀 데이터로부터 아타리 2600 게임에서 인간 수준의 컨트롤러를 얻기 위한 효과적인 비전 기반 강화 학습 방법을 가능하게 하였습니다. 그러나 아타리 2600 게임은 비현실적인 2D 환경과 제3인칭 시점이 포함되어 있어 실제 세계의 작업과는 달라집니다. 본 연구에서는 원시 시각 정보로부터 강화 학습 연구를 위한 새로운 테스트 베드 플랫폼을 제안합니다. 이 플랫폼은 반현실적인 3D 세계에서 제1인칭 시점을 사용합니다. 해당 소프트웨어는 클래식 1인칭 슈팅 게임 '둠(Doom)'을 기반으로 한 '비즈덤(ViZDoom)'입니다. 이 소프트웨어는 화면 버퍼를 사용하여 게임을 하는 봇 개발을 가능하게 합니다. 비즈덤은 가볍고, 빠르며, 사용자 시나리오 메커니즘을 통해 매우 유연하게 맞춤설정할 수 있습니다.실험 부분에서는 두 가지 시나리오에 대한 봇 학습을 시도하여 환경을 테스트하였습니다: 기본적인 이동 및 사격 과제와 더 복잡한 미로 탐색 문제입니다. Q-학습과 경험 재생을 사용하는 컨벌루션 딥 뉴럴 네트워크를 통해 두 시나리오 모두에서 능력 있는 봇들을 훈련시키는데 성공하였습니다. 이러한 봇들은 인간과 유사한 행동을 보여주었습니다. 결과는 비즈덤이 AI 연구 플랫폼으로서의 유용성을 확인해주며, 3D 현실적 제1인칭 시점 환경에서의 시각적 강화 학습이 가능함을 암시합니다.