AI生成3Dモデルを修復し3Dプリントする新ツール

MITのCSAIL、Google、ノースイースタン大学の研究チームは、生成AIによる3Dモデル作成と修正を容易にする新ツール「InstructMesh」を開発した。従来のAI 3D生成システムは視覚的には忠実だが機能性に欠け、3Dプリント後に実用性を失う課題があった。InstructMeshは、Microsoftの3D生成システム「TRELLIS」と大規模言語モデル「GPT-4」を統合し、テキストや画像プロンプトから3D設計図を生成するとともに、ユーザーが自然言語で部分を指定して構造や形状を修正できるインタラクティブな環境を提供する。これにより、専門知識がなくても設計上の欠陥を直感的に見つけ、実用可能な製品を作り出せる。 開発陣は、ドラゴンの尾を取手にしたマグカップや蝶の翅を備えたメガネ、八頭タコ型の飲料分配器などの創作物を製作し、機能面での実用性を確認した。また、ジーンズと同素材感の膝用サポーターや、モーターを内蔵したエビ型の自律移動ロボット筐体生成にも成功している。実証実験では、3Dプリント共有プラットフォームThingiverseの既存モデルに構造的欠陥が約80％存在することを明らかにし、モデリング未経験のユーザーにInstructMeshで修正を依頼したところ、専門家の評価で約90％の成功率を記録した。ユーザーは操作の直感性とスライダーによる精密調整の高評価を得た。 本ツールの技術的基盤は、生成モデルの潜在空間での幾何学変形を自然言語指示で制御する点にある。リード著者で現在Googleに所属するファラズ・ファルーク研究員は、今後は周辺環境を認識したプロンプトで即時3Dプリント可能なARプラットフォームへの組み込み、落下試験などの物理シミュレーションの統合、次期TRELLIS 2.0との連携による細部制御の高度化を見込む。MIT電気工学・コンピュータサイエンスおよび機械工学のステファニー・ミュラー准教授らが共同で執筆し、11月にACM UISTにて公開予定。本研究はGoogleとMIT-HPI共同研究プログラムにより支援されている。