Bearbeitung bedingter Strahlungsfelder

Ein neuraler Strahlungsfeld (NeRF) ist ein Szenenmodell, das eine hochwertige Ansichtssynthese unterstützt und pro Szene optimiert wird. In diesem Artikel untersuchen wir die Möglichkeit, Benutzerinteraktionen an einem kategorieweiten NeRF – auch bekannt als bedingtes Strahlungsfeld – durchzuführen, das auf einer Formkategorie trainiert wurde. Insbesondere stellen wir eine Methode vor, mit der grobe 2D-Benutzerstriche in den 3D-Raum übertragen werden können, um Farbe oder Form einer lokalen Region zu modifizieren. Zunächst schlagen wir ein bedingtes Strahlungsfeld vor, das neue modulare Netzwerkkomponenten integriert, darunter einen Formzweig, der über verschiedene Objektinstanzen hinweg geteilt wird. Indem wir mehrere Instanzen derselben Kategorie beobachten, lernt unser Modell unterliegende Teilsemantiken ohne jegliche Überwachung, wodurch die Übertragung grober 2D-Benutzerstriche auf den gesamten 3D-Raum (z. B. Stuhlsitz) ermöglicht wird. Anschließend präsentieren wir eine hybride Netzwerkaktualisierungsstrategie, die gezielt bestimmte Netzwerkkomponenten anspricht und dabei Effizienz und Genauigkeit ausbalanciert. Während der Benutzerinteraktion formulieren wir ein Optimierungsproblem, das sowohl die Benutzeranforderungen erfüllt als auch die ursprüngliche Objekstruktur bewahrt. Wir demonstrieren unsere Methode an verschiedenen Bearbeitungsaufgaben auf drei Formdatensätzen und zeigen, dass sie vorherige neuronale Bearbeitungsansätze übertrifft. Schließlich bearbeiten wir die Erscheinung und Form eines realen Fotos und zeigen, dass die Bearbeitung auch auf extrapolierte neue Ansichten übertragen wird.