要約
過去の数フレームを前提に将来のフレームを生成することは、非常に困難なタスクである。これは動画の時間的整合性をモデル化し、将来の状態における多様性という観点から多モーダル性を捉える必要があるためである。現在の動画生成における変分的手法は、将来の多モーダルな結果に対して周辺化（marginalization）を行う傾向にある。一方、本研究では将来の結果における多モーダル性を明示的にモデル化し、その多様性を活用して多様な将来のシナリオをサンプリングする手法を提案する。提案手法である「Diverse Video Generator」は、過去の情報から将来状態の事前分布を学習するため、ガウス過程（Gaussian Process, GP）を用いる。また、特定のサンプルが与えられたもとで、可能な将来の状態に対する確率分布を維持する。さらに、この分布の時間的変化を活用し、進行中のシーケンスの終了を推定することで、多様な将来状態のサンプリングを制御する。具体的には、出力関数空間におけるGPの分散を用いて、アクションシーケンスの変化をトリガーする。本手法は、再構成品質および生成されたシーケンスの多様性という観点で、多様な将来フレーム生成において最先端の性能を達成した。