Robuste 3D-Maske-basierte Teil-Level-Bearbeitung in 3D-Gaussian Splatting mit regulierter Score-Distillation-Sampling-Methode

Neue Fortschritte in 3D-Neural-Repräsentationen und Modellen für instance-basierte Bearbeitungen haben die effiziente Erstellung von hochwertigen 3D-Inhalten ermöglicht. Dennoch bleibt die präzise lokale 3D-Bearbeitung herausfordernd, insbesondere bei Gaussian Splatting, aufgrund von inkonsistenten multi-view 2D-Teilsegmentierungen und der intrinsisch mehrdeutigen Natur der Score Distillation Sampling (SDS)-Verlustfunktion. Um diese Einschränkungen zu überwinden, schlagen wir RoMaP vor, einen neuen Rahmen für lokale 3D-Gaussian-Bearbeitungen, der präzise und drastische Teil-level-Bearbeitungen ermöglicht. Zunächst führen wir einen robusten 3D-Maske-Generationsmodul mit unserer 3D-Geometrie-orientierten Label-Vorhersage (3D-GALP) ein, der SH-Koeffizienten (sphärische Harmonien) verwendet, um die ansichtsabhängigen Label-Variationen und das Eigenschaftsspektrum von Soft-Labels zu modellieren und dadurch präzise und konsistente Teilsegmentierungen über verschiedene Ansichten hinweg zu erzielen. Zweitens schlagen wir eine regulierte SDS-Verlustfunktion vor, die die Standard-SDS-Verlustfunktion mit zusätzlichen Regularisierern kombiniert. Insbesondere wird eine L1-Anchor-Verlustfunktion über unsere Scheduled Latent Mixing and Part (SLaMP)-Bearbeitungsmethode eingeführt, die hochwertige, teilweise bearbeitete 2D-Bilder generiert und gleichzeitig die Bearbeitungen nur auf das Zielgebiet beschränkt, während der Kontextkohärenz erhalten bleibt. Zusätzliche Regularisierer, wie beispielsweise die Entfernung von Gaussian-Prior, erhöhen die Flexibilität, indem sie Änderungen jenseits des bestehenden Kontexts ermöglichen, und die robuste 3D-Maske verhindert unerwünschte Bearbeitungen. Experimentelle Ergebnisse zeigen, dass RoMaP sowohl qualitativ als auch quantitativ den Stand der Technik in der lokalen 3D-Bearbeitung von Gaussian-Szenen und -Objekten übertrifft, wodurch eine robuster und flexiblerer Teil-level 3D-Gaussian-Bearbeitung ermöglicht wird.