Junliang Ye Shenghao Xie Ruowen Zhao Zhengyi Wang Hongyu Yan Wenqiang Zu Lei Ma Jun Zhu

要約

3Dオブジェクト編集は、ゲーム、アニメーション、ロボット工学におけるインタラクティブなコンテンツ制作に不可欠であるが、現行の手法は依然として非効率的であり、一貫性に欠け、編集対象外の領域の保持が困難な場合が多い。多数の既存手法は、マルチビュー画像の編集後に再構成を行うというアプローチを採用しているが、これによりアーティファクトが発生し、実用性が制限される。これらの課題に対応するため、本研究ではマスク不要で高精度かつ一貫性のある3Dオブジェクト編集を実現するトレーニングフリーなフレームワーク「Nano3D」を提案する。Nano3Dは、TRELLISに「FlowEdit」を統合し、前面ビューのレンダリングをガイドとして用いて局所的な編集を実行する。さらに、編集領域と未編集領域の整合性を保つことで構造的忠実性を適応的に維持する「Voxel/Slat-Merge」という領域認識型マージ戦略を導入している。実験の結果、従来手法と比較して、Nano3Dは優れた3D一貫性と視覚的品質を達成した。本フレームワークを基盤として、本研究では10万件以上の高品質な3D編集ペアを含む、世界初の大規模3D編集データセット「Nano3D-Edit-100k」を構築した。本研究は、アルゴリズム設計およびデータ可用性という長年の課題に取り組み、3D編集の汎用性と信頼性を著しく向上させ、前向きな3D編集モデルの開発に道を拓いた。プロジェクトページ: https://jamesyjl.github.io/Nano3D