Command Palette
Search for a command to run...
Fantasia3D:高品質なテキストから3Dコンテンツを生成するための幾何学と外観の分離
Fantasia3D:高品質なテキストから3Dコンテンツを生成するための幾何学と外観の分離
Rui Chen Yongwei Chen Ningxin Jiao Kui Jia
概要
近年、事前学習済みの大規模言語モデルおよび画像拡散モデルの普及に伴い、自動3Dコンテンツ生成は急速な進展を遂げており、テキストから3Dコンテンツを生成するという新たな研究分野が形成されている。既存のテキストから3Dへの生成手法は、主に体積レンダリングを通じて幾何学と外観を結合するimplicitなシーン表現を用いるが、細かい幾何形状の復元や写実的なレンダリングにおいては最適でないため、高品質な3Dアセットの生成には不向きである。本研究では、高品質なテキストから3Dコンテンツ生成を実現するための新手法「Fantasia3D」を提案する。Fantasia3Dの鍵となるのは、幾何学と外観の分離されたモデリングと学習である。幾何学の学習においては、ハイブリッドなシーン表現を活用し、その表現から抽出した表面法線を画像拡散モデルの入力として用いる手法を提案する。外観モデリングにおいては、テキストから3D生成タスクに空間的に変化する双方向反射分布関数(BRDF)を導入し、生成された表面の表面素材を学習することで、写実的なレンダリングを実現する。本研究で提案する分離型フレームワークは、一般的なグラフィックスエンジンと高い互換性を有し、生成された3Dアセットに対して再ライティング、編集、物理シミュレーションが可能である。さまざまなテキストから3D生成タスク設定において、広範な実験を通じて、既存手法と比較して本手法の優位性を示した。プロジェクトページおよびソースコード:https://fantasia3d.github.io/