2ヶ月前

QTRAN: 変換を用いた因子分解の学習による協調型多エージェント強化学習

Kyunghwan Son; Daewoo Kim; Wan Ju Kang; David Earl Hostallero; Yung Yi
QTRAN: 変換を用いた因子分解の学習による協調型多エージェント強化学習
要約

最近注目を集めている集中学習分散実行(Centralized Training with Decentralized Execution: CTDE)体制における多エージェント強化学習(Multi-Agent Reinforcement Learning: MARL)タスクの価値に基づく解決策を探究します。しかし、VDNとQMIXは、分散実行のために共同行動価値関数を個々のものに分解するアイデアを使用する代表的な例であり、加法性や単調性などの分解構造の制約により、分解可能なMARLタスクの一部しか対応していません。本論文では、このような構造的制約から解放され、元の共同行動価値関数を同じ最適行動を持つように簡単に分解できる新しい方法QTRANを提案します。QTRANはVDNやQMIXよりも一般的な分解を保証し、従来の手法よりも広範なクラスのMARLタスクに対応できます。マルチドメイン・ガウシアン・スクリーズと変形された捕食者-獲物ゲームにおける実験結果は、特に非協力的な行動に対するペナルティがより厳しく設定されたゲームでQTRANが優れた性能を示すことを示しています。