Command Palette
Search for a command to run...
OpenHA:Minecraftにおけるオープンソース階層型エージェントモデルのシリーズ
OpenHA:Minecraftにおけるオープンソース階層型エージェントモデルのシリーズ
Zihao Wang Muyao Li Kaichen He Xiangyu Wang Zhancun Mu Anji Liu Yitao Liang
概要
アクション空間の選定は、能力のあるエンドツーエンド学習可能なエージェントを開発する上で、重要な課題でありながら未解決の問題である。本研究では、オープンエンドなマインクラフト環境における視覚言語行動(VLA)モデルや階層型エージェントモデルにおいて、代表的な抽象化アクション空間およびトークナイザーについて、大規模かつ体系的な比較を初めて行う。我々の分析から、どのアクション空間も普遍的に最適であるとは限らず、最も効果的な抽象化はタスクに強く依存するということが明らかになった。このため、汎用エージェントの構築にはジレンマが生じる。これを解決するために、本研究では「アクションの連鎖(Chain of Action, CoA)」という新しい枠組みを提案する。CoAは、高レベルの計画と低レベルの制御を一つの統合的かつモノリシックなVLAモデル内に統合する。CoAでは、抽象化されたアクションを別個のポリシーに対する命令として扱うのではなく、最終的な実行可能なアクションの生成を導く「中間的推論ステップ」として捉える。これは「思考の連鎖(Chain of Thought)」に類似したアプローチである。さらに、CoAフレームワークを用いて、多様なアクション空間の混合データセット上で学習された「ワンサイズすべて対応型(All-in-One)」エージェントが、より堅牢かつ汎化性に優れたポリシーを学習できることを実証した。この統合型エージェントは、強力な専門的ベースラインを上回る新たな最良の性能を達成し、全体的なタスク成功率を向上させた。再現可能な研究を促進するため、本研究では、800種類以上の異なるタスクを網羅したベンチマーク、収集・整理されたデータセット、ソースコード、およびすべての事前学習済みモデルのチェックポイントを含む「OpenHA(Open Hierarchical Agents)」スイートを公開する。詳細は以下のURLから入手可能である。