2ヶ月前
Unique3D: 単一画像からの高品質かつ効率的な3Dメッシュ生成
Kailu Wu; Fangfu Liu; Zhihan Cai; Runjie Yan; Hanyang Wang; Yating Hu; Yueqi Duan; Kaisheng Ma

要約
本研究では、単一視点画像から高品質な3Dメッシュを効率的に生成する新しい画像から3DへのフレームワークUnique3Dを紹介します。このフレームワークは最先端の生成忠実度と強い汎化能力を特徴としています。これまでのScore Distillation Sampling(SDS)に基づく方法は、大規模な2D拡散モデルから3Dの知識を抽出することで多様な3D結果を生成できますが、通常は個々のケースごとの最適化時間が長く、一貫性に問題があることが課題でした。最近の研究では、これらの問題に対処し、マルチビュー拡散モデルの微調整や高速なフィードフォワードモデルの訓練によってより良い3D結果を生成しています。しかし、一貫性の欠如や生成解像度の制限により、細かいテクスチャーや複雑なジオメトリがまだ不足していました。そこで、単一画像から3Dへの高忠実度、一貫性、効率性を同時に達成するために、新たなフレームワークUnique3Dを提案します。このフレームワークには、対応するノーマル拡散モデルと共にマルチビュー拡散モデルが含まれており、これによりマルチビュー画像とそのノーマルマップを生成します。また、段階的に生成された正射投影マルチビューの解像度を向上させるためのマルチレベルアップスケールプロセスも導入されています。さらに、ISOMERと呼ばれる即時かつ一貫したメッシュ再構築アルゴリズムも提案しており、これにより色とジオメトリの事前情報を完全にメッシュ結果に統合しています。広範囲にわたる実験結果は、Unique3Dが他の画像から3Dへのベースラインよりも幾何学的およびテクスチャ的な詳細において著しく優れていることを示しています。