스타크래프트 다중 에이전트 도전

최근 몇 년 동안, 깊은 다중 에이전트 강화 학습(RL)은 매우 활발한 연구 분야가 되었습니다. 이 분야에서 특히 어려운 문제 중 하나는 부분적으로 관찰 가능한 협력적 다중 에이전트 학습입니다. 이 문제에서는 에이전트 팀들이 각자의 개인적인 관찰 정보만을 바탕으로 행동을 조정해야 합니다. 이러한 문제들은 많은 실제 시스템에 관련되어 있으며, 일반합 게임보다 평가하기가 더 용이하기 때문에 매력적인 연구 영역으로 여겨지고 있습니다. ALE와 MuJoCo 같은 표준 환경들은 단일 에이전트 RL이 그리드 월드와 같은 장난감 도메인을 넘어설 수 있게 하였습니다. 그러나 협력적 다중 에이전트 RL에 대한 유사한 벤치마크는 존재하지 않습니다. 그 결과, 이 분야의 대부분의 논문들은 일회용 장난감 문제를 사용하여 진정한 진보를 측정하는 것이 어렵게 되었습니다.본 논문에서는 이러한 간극을 메우기 위해 StarCraft Multi-Agent Challenge (SMAC)를 벤치마크 문제로 제안합니다. SMAC는 인기 있는 실시간 전략 게임 StarCraft II를 기반으로 하며, 각 유닛이 독립적인 에이전트에 의해 제어되며 로컬 관찰 정보만을 바탕으로 행동해야 하는 마이크로 매니지먼트 과제에 초점을 맞추고 있습니다. 우리는 다양한 도전 맵과 벤치마킹 및 평가를 위한 최선의 방법론 권장 사항을 제공합니다. 또한 최신 알고리즘을 포함한 깊은 다중 에이전트 RL 학습 프레임워크를 오픈 소스로 공개합니다. 우리는 SMAC가 앞으로 몇 년간 표준 벤치마크 환경을 제공할 수 있다고 믿습니다. 여러 SMAC 시나리오에서 가장 우수한 에이전트들의 동영상은 다음 주소에서 확인할 수 있습니다: https://youtu.be/VZ7zmQ_obZ0.