Command Palette
Search for a command to run...
3Dガウススパッタリングにおける正則化スコア分散サンプリングを用いたロバストな3Dマスク付きパーツレベル編集
3Dガウススパッタリングにおける正則化スコア分散サンプリングを用いたロバストな3Dマスク付きパーツレベル編集
Hayeon Kim Ji Ha Jang Se Young Chun
概要
3D神経表現およびインスタンスレベル編集モデルの最近の進展により、高品質な3Dコンテンツの効率的な作成が可能となった。しかし、特にガウススプラッティングにおいては、複数視点の2Dパーツセグメンテーションの不一致や、スコア蒸留サンプリング(SDS)損失の本質的な曖昧性のために、正確なローカルな3D編集は依然として困難である。これらの課題に対処するため、我々はローカルな3Dガウス編集フレームワークとして、RoMaPを提案する。これは、正確で劇的なパーツレベルの編集を可能にする新しい枠組みである。まず、球面調和関数(SH)係数を用いて視点依存のラベル変動とソフトラベルの性質をモデル化する、我々が提案した3D-Geometry Aware Label Prediction(3D-GALP)を用いた堅牢な3Dマスク生成モジュールを導入する。これにより、視点間で一貫性のある正確なパーツセグメンテーションが得られる。次に、標準的なSDS損失に追加の正則化項を組み合わせた正則化されたSDS損失を提案する。特に、Scheduled Latent Mixing and Part(SLaMP)編集法を通じてL1アンカー損失を導入し、これにより高品質なパーツ編集済み2D画像が生成され、文脈の整合性を保持しつつ対象領域のみに編集が限定される。さらに、ガウス事前分布除去などの追加の正則化項により、既存の文脈を超えた変更が可能となり、柔軟性が向上する。また、堅牢な3Dマスクにより、意図しない編集が防止される。実験結果は、RoMaPが再構築済みおよび生成されたガウスシーンおよびオブジェクトにおいて、定性的および定量化的に最高性能のローカル3D編集を実現することを示しており、これによりより堅牢で柔軟なパーツレベルの3Dガウス編集が可能となる。