HyperAIHyperAI

Command Palette

Search for a command to run...

From One to More: Contextual Part Latents for 3D Generation を 一から多へ:3D生成のための文脈に基づいた部分潜在変数

概要

最近の3D生成技術は、多視点2Dレンダリング手法から、真実データの幾何学的プリオールを活用する3Dネイティブの潜在拡散フレームワークへと移行しています。しかし、進歩にもかかわらず、以下の3つの主要な制限が残っています:(1) 単一潜在表現では複雑な多部品構造を捉えきることができず、詳細が劣化します;(2) 全体的な潜在符号化は部分間の独立性や相互関係を無視し、組成設計に重要な要素を欠いています;(3) グローバルな条件付けメカニズムには微細な制御能力が不足しています。人間の3Dデザインワークフローに着想を得て、私たちはCoPart(コンポーツ)という部分認識型の拡散フレームワークを提案します。このフレームワークは3Dオブジェクトを文脈的な部分潜在表現に分解することで、一貫した多部品生成を可能にします。このパラダイムには以下の3つの利点があります:i) 部分分解により符号化の複雑さが軽減されます;ii) 明示的な部分間関係モデル化が可能になります;iii) 部分レベルでの条件付けがサポートされます。さらに、私たちは相互ガイダンス戦略を開発しました。これにより事前学習済みの拡散モデルを共同で部分潜在デノイジングのために微調整し、幾何学的一貫性と基礎モデルのプリオールを確保できます。大規模な学習を可能にするために、自動メッシュ分割と人間による検証アノテーションを通じてObjaverseから派生した新しい3D部分データセットPartverse(パートバース)を作成しました。広範な実験結果は、CoPartが部分レベル編集、可動オブジェクト生成、シーン構成において優れた能力を持ち、かつこれまでにないほど細かい制御性を備えていることを示しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
From One to More: Contextual Part Latents for 3D Generation を 一から多へ:3D生成のための文脈に基づいた部分潜在変数 | 記事 | HyperAI超神経