DiffDreamer: 条件付き拡散モデルを用いた一貫性のある単視点シーンの外挿を目指して

シーンの外挿 -- 与えられた画像に飛行して新しい視点を生成するというアイデア -- は有望でありながら困難な課題です。予測される各フレームに対して、共同でインペイントと3D精緻化の問題を解く必要がありますが、これは不適切な問題であり、高いレベルの曖昧性を含んでいます。さらに、長距離シーンの学習データを取得することは難しく、通常は正確なカメラポーズを推定するのに十分な視点が欠けています。私たちはDiffDreamer（ディフドリーマー）を導入します。これは、自然風景のインターネット収集画像のみを使用して訓練することで、長いカメラ軌道を描写する新しい視点を合成できる非監督的なフレームワークです。ガイダンス付きデノイジングステップの確率的な性質を利用し、投影されたRGBD画像の精緻化を行うための拡散モデルを訓練しますが、推論時には複数の過去および未来のフレームに基づいてデノイジングステップを行います。私たちは、画像条件付き拡散モデルが効果的に長距離シーンの外挿を行い、以前のGANベースの手法よりも一貫性を大幅に保つことができることを示しています。DiffDreamerは強力かつ効率的なシーン外挿ソリューションであり、限られた教師なし学習にもかかわらず印象的な結果を生み出します。プロジェクトページ: https://primecai.github.io/diffdreamer.