要約
エージェントが世界と対話する能力を学習する際の主要な課題は、自身の行動が環境中の物体にどのように影響を与えるかを予測することである。物理的な相互作用の動態を学習する既存の多くの手法は、ラベル付きの物体情報が必要である。しかし、現実世界での相互作用学習をさまざまなシーンや物体に拡大するためには、ラベル付きデータの取得がますます非現実的になる。ラベルなしで物理的な物体運動を学習するために、我々はピクセル運動を明示的にモデル化するアクション条件付きビデオ予測モデルを開発した。このモデルは過去のフレームからピクセル運動の分布を予測することで、物体の外観に対して部分的に不変であり、未見の物体への汎化が可能となる。現実世界でのインタラクティブエージェント向けのビデオ予測を探求するために、我々はさらに59,000件のロボット相互作用（プッシュ動作を含む）データセットを導入し、新しい物体が含まれるテストセットも提供している。このデータセットでは、ロボットの将来の行動に基づいてビデオを条件付けた正確な予測は、異なる行動パターンに基づく異なる未来の「視覚的想像」を学習することに相当する。我々の実験結果は、提案手法が定量的にも定性的にも従来手法よりもより正確なビデオ予測を行うことを示している。