Jihwan Kim Junoh Kang Jinyoung Choi Bohyung Han

要約

我々は、事前学習された拡散モデルを活用した、テキスト条件付き動画生成のための新しい推論技術を提案する。本手法はFIFO-Diffusionと命名され、学習を伴わずとも無限に長い動画を生成可能な概念的枠組みを持つ。これは、キュー内に連続する複数のフレームを、徐々にノイズ量を増加させながら同時に処理する対角ノイズ除去（diagonal denoising）を反復的に実行することで実現される。本手法では、キュー先頭から完全にノイズ除去されたフレームをデキューし、末尾に新たなランダムノイズフレームをエンキューする。しかしながら、対角ノイズ除去は二面性を有しており、末尾付近のフレームは前方参照によりよりクリーンなフレームを活用できる一方で、この戦略は学習段階と推論段階の間に乖離を生じさせる。したがって、学習と推論のギャップを低減するために潜在空間の分割（latent partitioning）を導入し、前方参照の利点を活かすための先行ノイズ除去（lookahead denoising）を提案する。本研究では、既存のテキストから動画生成のベースラインに対して、提案手法の有望な結果と有効性を実証した。