要約
ワールドモデルは、学習エージェントがインタラクティブで状況依存的な環境において効率的に動作する能力を向上させる。本研究では、テキストベースのゲーム環境におけるワールドモデルの構築というタスクに焦点を当てる。テキストベースのゲーム、あるいはインタラクティブな物語は、エージェントが自然言語によるテキストを通じて世界を認識し、世界と相互作用する強化学習環境である。このような環境は、数百もの登場人物、場所、オブジェクトが存在する世界に、長く複数ステップにわたるパズルやクエストが織り込まれている。本研究で提案するワールドモデルは、以下の2つのタスクを同時に学習する能力を持つ：（1）世界を知識グラフとして表現した際に、エージェントの行動によって引き起こされる世界の変化を予測すること；（2）世界で動作するために必要な文脈的に適切な自然言語による行動の集合を生成すること。知識グラフと行動の内在的な構造を活用することで、このタスクを「シーケンスの集合生成問題」として定式化し、トランスフォーマーに基づくマルチタスクアーキテクチャと、その学習に適した損失関数を導入した。未経験のテキストベースの世界に対するゼロショットのアブレーション研究により、本手法が既存のテキストワールドモデリング技術を顕著に上回ること、および本研究の各貢献の重要性が確認された。