LION：3D形状生成のための潜在点拡散モデル

ノイズ除去拡散モデル（Denoising Diffusion Models, DDMs）は、3Dポイントクラウドの合成において有望な成果を示している。デジタルアーティストにとって実用的な3D DDMの発展を図るためには、以下の3点が求められる：（i）高品質な生成性能、（ii）条件付き合成や形状補間など、さまざまな操作および応用に柔軟に対応できる特性、（iii）滑らかな表面またはメッシュを出力する能力。こうした課題に応えるために、我々は階層的潜在ポイント拡散モデル（Hierarchical Latent Point Diffusion Model, LION）を提案する。LIONは、グローバルな形状潜在表現とポイント構造化潜在空間を統合した階層的潜在空間を持つ変分自己符号化器（Variational Autoencoder, VAE）として構築されている。生成プロセスでは、この潜在空間に二つの階層的DDMを学習させる。階層的VAEアーキテクチャにより、直接ポイントクラウド上で動作するDDMと比較して性能が向上する一方で、ポイント構造化潜在空間はDDMに基づくモデリングに最適な形を維持している。実験結果では、LIONは複数のShapeNetベンチマークにおいて最先端の生成性能を達成している。さらに、我々のVAEフレームワークにより、LIONをさまざまな関連タスクに容易に適用可能であることが示された。具体的には、マルチモーダル形状ノイズ除去やボクセル条件付き合成において優れた性能を発揮し、テキストや画像駆動型の3D生成にも適応可能である。また、形状の自己符号化および潜在空間における形状補間を実証し、現代的な表面再構成技術をLIONに統合することで、滑らかな3Dメッシュの生成を実現している。本研究により、高品質な生成、高い柔軟性、および表面再構成能力を備えたLIONが、3D形状に取り組むアーティストにとって強力なツールとなることを期待している。プロジェクトページおよびコード：https://nv-tlabs.github.io/LION。