HyperAIHyperAI

Command Palette

Search for a command to run...

Robuste 3D-Maske-basierte Teil-Level-Bearbeitung in 3D-Gaussian Splatting mit regulierter Score-Distillation-Sampling-Methode

Hayeon Kim Ji Ha Jang Se Young Chun

Zusammenfassung

Neue Fortschritte in 3D-Neural-Repräsentationen und Modellen für instance-basierte Bearbeitungen haben die effiziente Erstellung von hochwertigen 3D-Inhalten ermöglicht. Dennoch bleibt die präzise lokale 3D-Bearbeitung herausfordernd, insbesondere bei Gaussian Splatting, aufgrund von inkonsistenten multi-view 2D-Teilsegmentierungen und der intrinsisch mehrdeutigen Natur der Score Distillation Sampling (SDS)-Verlustfunktion. Um diese Einschränkungen zu überwinden, schlagen wir RoMaP vor, einen neuen Rahmen für lokale 3D-Gaussian-Bearbeitungen, der präzise und drastische Teil-level-Bearbeitungen ermöglicht. Zunächst führen wir einen robusten 3D-Maske-Generationsmodul mit unserer 3D-Geometrie-orientierten Label-Vorhersage (3D-GALP) ein, der SH-Koeffizienten (sphärische Harmonien) verwendet, um die ansichtsabhängigen Label-Variationen und das Eigenschaftsspektrum von Soft-Labels zu modellieren und dadurch präzise und konsistente Teilsegmentierungen über verschiedene Ansichten hinweg zu erzielen. Zweitens schlagen wir eine regulierte SDS-Verlustfunktion vor, die die Standard-SDS-Verlustfunktion mit zusätzlichen Regularisierern kombiniert. Insbesondere wird eine L1-Anchor-Verlustfunktion über unsere Scheduled Latent Mixing and Part (SLaMP)-Bearbeitungsmethode eingeführt, die hochwertige, teilweise bearbeitete 2D-Bilder generiert und gleichzeitig die Bearbeitungen nur auf das Zielgebiet beschränkt, während der Kontextkohärenz erhalten bleibt. Zusätzliche Regularisierer, wie beispielsweise die Entfernung von Gaussian-Prior, erhöhen die Flexibilität, indem sie Änderungen jenseits des bestehenden Kontexts ermöglichen, und die robuste 3D-Maske verhindert unerwünschte Bearbeitungen. Experimentelle Ergebnisse zeigen, dass RoMaP sowohl qualitativ als auch quantitativ den Stand der Technik in der lokalen 3D-Bearbeitung von Gaussian-Szenen und -Objekten übertrifft, wodurch eine robuster und flexiblerer Teil-level 3D-Gaussian-Bearbeitung ermöglicht wird.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp