Lin Li Zehuan Huang Haoran Feng Gengxiong Zhuang Rui Chen Chunchao Guo Lu Sheng

Abstract

Die 3D-lokale Bearbeitung spezifizierter Regionen ist für die Spieleindustrie und die Interaktion mit Robotern von entscheidender Bedeutung. Herkömmliche Methoden bearbeiten typischerweise gerenderte Mehransichtsbilder und rekonstruieren anschließend 3D-Modelle, stoßen jedoch bei der präzisen Erhaltung unveränderter Bereiche und der globalen Kohärenz auf erhebliche Schwierigkeiten. Inspiriert durch strukturierte 3D-generierende Modelle stellen wir VoxHammer vor – einen neuartigen, trainingsfreien Ansatz zur präzisen und konsistenten Bearbeitung im 3D-Latentraum. Gegeben ein 3D-Modell, berechnet VoxHammer zunächst dessen Inversionspfad und ermittelt zu jedem Zeitpunkt die invertierten Latentvektoren sowie die entsprechenden Key-Value-Token. Im anschließenden Entrauschungs- und Bearbeitungsphase ersetzen wir die Entrauschungsfeatures der erhaltenen Regionen durch die entsprechenden invertierten Latentvektoren und die zwischengespeicherten Key-Value-Token. Durch die Beibehaltung dieser kontextuellen Merkmale gewährleistet unser Ansatz eine konsistente Rekonstruktion der unveränderten Bereiche sowie eine nahtlose Integration der bearbeiteten Teile. Zur Evaluierung der Konsistenz der erhaltenen Regionen haben wir Edit3D-Bench, eine menschlich annotierte Datensammlung mit Hunderten von Proben, erstellt, wobei jeweils sorgfältig markierte 3D-Bearbeitungsbereiche vorhanden sind. Experimente zeigen, dass VoxHammer bestehende Methoden hinsichtlich sowohl der 3D-Konsistenz der unveränderten Regionen als auch der Gesamtqualität erheblich übertrifft. Unser Ansatz bietet großes Potenzial für die Synthese hochwertiger bearbeiteter Datensätze in Paaren und legt somit die datenbasierte Grundlage für kontextbasierte 3D-Generierung. Weitere Informationen finden Sie auf unserer Projektseite: https://huanngzh.github.io/VoxHammer-Page/.