2ヶ月前

VideoFlow: 条件付きフローベースモデルによる確率的な動画生成

Manoj Kumar; Mohammad Babaeizadeh; Dumitru Erhan; Chelsea Finn; Sergey Levine; Laurent Dinh; Durk Kingma
VideoFlow: 条件付きフローベースモデルによる確率的な動画生成
要約

将来のイベントのシーケンスをモデル化および予測できる生成モデルは、物理的な相互作用などの複雑な現実世界の現象を学習する可能性があります。しかし、ビデオ予測における中心的な課題は、未来が非常に不確かなことである点です:過去のイベントの観測シーケンスは多くの可能な未来を示唆することがあります。最近の研究では、不確かな未来を表現できる確率モデルについて検討されていますが、これらのモデルはピクセルレベルの自己回帰モデルのように計算コストが非常に高いか、またはデータの尤度を直接最適化しないという問題があります。当該研究において、私たちは正規化フローを使用したマルチフレームビデオ予測を提案しており、これはデータ尤度の直接最適化を可能にし、高品質な確率的予測を生成します。潜在空間ダイナミクスのモデリング手法について説明し、フローベースの生成モデルがビデオの生成モデリングに対して実現可能かつ競争力のあるアプローチであることを示しています。

VideoFlow: 条件付きフローベースモデルによる確率的な動画生成 | 最新論文 | HyperAI超神経