大規模言語モデルの進歩に触発され、テキスト出力の領域を超えて単一の汎用エージェントを構築するための類似アプローチを適用しました。このエージェントは、Gatoと呼びます。Gatoは、マルチモーダル、マルチタスク、マルチエンボディメントの汎用ポリシーとして機能します。同じネットワークと重みを使用して、Atariゲームをプレイし、画像にキャプションをつけ、チャットを行い、実際のロボットアームでブロックを積むなど、多様なタスクを遂行できます。コンテクストに基づいてテキスト、関節トルク、ボタン押下、またはその他のトークンを出力するかどうかを決定します。本報告書では、モデルとデータについて説明し、Gatoの現在の能力を記録しています。