StarCraft 多エージェントチャレンジ

最近数年、深層マルチエージェント強化学習（RL）は非常に活発な研究分野となっています。この分野における特に難易度の高い問題の一つが、部分的に観測可能な協調型マルチエージェント学習であり、エージェントのチームが個々のプライベートな観測情報のみに基づいて行動を調整する必要があります。このような問題は多くの実世界システムに関連しており、ゼロサムゲームよりも評価しやすいという特徴から、魅力的な研究領域となっています。ALEやMuJoCoなどの標準化された環境により、単一エージェントRLはグリッドワールドのようなおもちゃのドメインを超えることができました。しかし、協調型マルチエージェントRLには同等のベンチマークが存在していません。その結果、この分野のほとんどの論文では一回限りのおもちゃの問題を使用しており、実際の進歩を測定することが困難になっています。本論文では、StarCraft Multi-Agent Challenge (SMAC) をベンチマーク問題として提案します。SMAC は人気のあるリアルタイムストラテジーゲーム StarCraft II を基盤とし、各ユニットが独立したエージェントによって制御され、局所的な観測情報に基づいて行動するマイクロマネジメント課題に焦点を当てています。私たちは多様なチャレンジマップとベンチマークおよび評価における最善の慣行に関する推奨事項を提供します。また、最先端アルゴリズムを含む深層マルチエージェントRL学習フレームワークをオープンソースで公開しています。私たちは SMAC が今後数年にわたり標準的なベンチマーク環境となることを確信しています。いくつかの SMAC シナリオにおける最良のエージェントによるビデオは以下のURLでご覧いただけます: https://youtu.be/VZ7zmQ_obZ0.