혼합 협력-경쟁 환경을 위한 다중 에이전트 액터-크리틱 방법

우리는 다중 에이전트 영역을 위한 심층 강화 학습 방법을 탐구합니다. 먼저 전통적인 알고리즘들이 다중 에이전트 상황에서 직면하는 어려움을 분석합니다: Q-러닝은 환경의 고유한 비정상성에 의해 도전받으며, 정책 경사는 에이전트 수가 증가함에 따라 분산이 커지는 문제를 겪습니다. 그런 다음, 다른 에이전트들의 행동 정책을 고려하는 액터-크리틱 방법의 변형을 제시합니다. 이 변형은 복잡한 다중 에이전트 협력을 요구하는 정책을 성공적으로 학습할 수 있습니다. 또한, 각 에이전트에게 여러 정책의 앙상블을 활용한 훈련 체계를 소개하여 더 강건한 다중 에이전트 정책을 생성합니다. 우리는 협력적 상황뿐만 아니라 경쟁적 상황에서도 기존 방법과 비교하여 우리 접근 방식의 우수성을 보여주며, 에이전트 집단이 다양한 물리적 및 정보적 협력 전략을 발견할 수 있음을 입증합니다.