2ヶ月前
SyncDreamer: 単一視点画像から多視点一貫性のある画像を生成する
Yuan Liu; Cheng Lin; Zijiao Zeng; Xiaoxiao Long; Lingjie Liu; Taku Komura; Wenping Wang

要約
本論文では、単一視点画像からマルチビューの一貫性のある画像を生成する新しい拡散モデルであるSyncDreamerについて紹介します。最近の研究Zero123では、事前学習された大規模2D拡散モデルを使用して、物体の単一視点画像から合理的な新規視点を生成する能力を示しています。しかし、生成された画像の幾何学的形状と色の一貫性を維持することは依然として課題となっています。この問題に対処するために、我々はマルチビューの同時確率分布をモデル化し、単一の逆プロセスでマルチビューの一貫性のある画像を生成できる同期マルチビュー拡散モデルを提案します。SyncDreamerは、3D認識特徴注意機構(3D-aware feature attention mechanism)を通じて、異なる視点間での対応する特徴量を関連付けながら、逆プロセスの各ステップで生成されるすべての画像の中間状態を同期させます。実験結果は、SyncDreamerが異なる視点間で高い一貫性を持つ画像を生成できることを示しており、新規視点合成やテキストから3Dへの変換(text-to-3D)、画像から3Dへの変換(image-to-3D)などの様々な3D生成タスクに適していることを示唆しています。