2ヶ月前

潜在的なニューラル微分方程式を用いたビデオ生成

Cade Gordon; Natalie Parde
潜在的なニューラル微分方程式を用いたビデオ生成
要約

生成対抗ネットワーク(Generative Adversarial Networks, GANs)は最近、ビデオ生成において有望な結果を示しており、画像生成の成功を基盤としながら新たな課題である時間軸の問題にも取り組んでいます。時間軸は初期の研究で一部分析されましたが、文献は時系列モデリングの発展に十分に対応していません。本研究では、ニューラル微分方程式(Neural Differential Equations, NDEs)を使用してビデオ生成の時系列動態をモデル化する効果について検討します。NDEsのパラダイムには、理論的な強みが多数存在し、ビデオ生成における時間の連続表現が初めて実現されています。NDEsの効果を解明するために、時系列モデルの変更が生成されたビデオの品質にどのように影響を与えるかを調査しました。結果は、古い時系列ジェネレータの単純な置き換えとしてNDEsを使用することを支持しています。実行時間を類似のままに保ちつつパラメータ数を削減し、64×64ピクセルの無条件ビデオ生成において新しい最先端モデルを開発しました。このモデルはインセプションスコア15.20を達成しています。

潜在的なニューラル微分方程式を用いたビデオ生成 | 最新論文 | HyperAI超神経