Wonder3D: 単一画像から3Dへの変換を用いたクロスドメイン拡散

本研究では、単一視点画像から高忠実度のテクスチャ付きメッシュを効率的に生成する新しい手法であるWonder3Dを紹介します。Score Distillation Sampling（SDS）に基づく最近の手法は、2D拡散事前分布から3D形状を回復する可能性を示していますが、一般的に形状ごとの最適化が時間のかかるプロセスであり、幾何学的一貫性に欠けるという問題があります。一方で、高速なネットワーク推論により直接3D情報を生成する特定の研究もありますが、その結果はしばしば低品質で、幾何学的な詳細が不足している傾向があります。これらの課題を総合的に改善し、画像から3Dへのタスクの品質、一貫性、効率性を向上させるために、我々はマルチビュー法線マップと対応する色情報を生成するクロスドメイン拡散モデルを提案します。一貫性を確保するために、我々は視点間およびモダリティ間での情報交換を促進するマルチビュークロスドメインアテンション機構を使用します。最後に、高品質な表面を取り出すための幾何学意識的な法線融合アルゴリズムを導入します。我々の広範な評価は、本手法が既存の研究と比較して高品質な再構築結果を得られること、堅牢な汎化能力を持ちつつも合理的に高い効率性を持つことを示しています。