要約
3Dオブジェクトを編集可能なプログラムに再構成することは、リバースエンジニアリングや形状編集などの応用において極めて重要である。しかし、従来の手法はしばしば限定的なドメイン固有言語（DSL）および小規模なデータセットに依存しており、複雑な幾何形状や構造をモデル化する能力に制限がある。こうした課題に対処するため、本研究では、点群から複雑な3Dオブジェクトを編集可能なBlender Pythonスクリプトに再構成する新しいフレームワーク「MeshCoder」を提案する。本研究では、複雑な幾何形状を合成可能な包括的な表現力を持つBlender Python API群を開発した。これらのAPIを活用して、各オブジェクトのコードを明確な意味的部品に分解した大規模なペアドデータセットを構築した。さらに、このデータセットを用いて、3D点群を実行可能なBlender Pythonスクリプトに変換するマルチモーダル大規模言語モデル（LLM）を学習させた。本手法は、形状からコードへの再構成タスクにおいて優れた性能を達成するだけでなく、コードの簡単な修正によって直感的な幾何学的およびトポロジカルな編集を可能にする。さらに、コードベースの表現により、LLMが3D形状理解タスクにおける推論能力が向上する。これらの貢献を統合することで、MeshCoderはプログラムによる3D形状再構成および理解のための強力かつ柔軟なソリューションとして確立される。