マルチエージェント環境における過大評価バイアスの低減に向けたデュアル集中型クライティックの活用

多くの現実世界のタスクでは、複数のエージェントが協働して取り組む必要がある。近年、こうしたタスクを解決するために、マルチエージェント強化学習（RL）手法が提案されてきたが、現行の手法はしばしば効率的な方策の学習に失敗する。そこで本研究では、単一エージェントRLにおいて知られている共通の課題である「価値関数の過大評価バイアス」が、マルチエージェント設定においても存在するかを検証した。その結果に基づき、二重中央集権的クライティック（double centralized critics）を用いることでこのバイアスを低減する手法を提案した。我々は、協調的かつ競合的な要素を併せ持つ6つのタスク上で提案手法を評価した結果、既存手法に比べて顕著な優位性を示した。さらに、高次元ロボットタスクへのマルチエージェント手法の応用を検討し、本手法がこの分野における分散型方策の学習に有効であることを示した。