pi-GAN: Periodische Implizite Generative Adversary Networks für 3D-bewusste Bildsynthese

Wir haben rasche Fortschritte bei der 3D-bewussten Bildsynthese beobachtet, die sich auf jüngste Entwicklungen in generativen visuellen Modellen und neuronalem Rendering stützen. Bestehende Ansätze fallen jedoch in zwei Hinsichten kurz: Erstens können sie eine zugrunde liegende 3D-Darstellung fehlen lassen oder auf view-inkonsistentes Rendering zurückgreifen, wodurch die synthetisierten Bilder nicht multiview-konsistent sind; zweitens hängen sie oft von Netzarchitekturen ab, die nicht ausdrucksstark genug sind, sodass ihre Ergebnisse in Bezug auf Bildqualität mangelhaft sind. Wir schlagen ein neues generatives Modell vor, das Periodische Implizite Generative Adversarial Networks ($\pi$-GAN oder pi-GAN) genannt wird, für hochwertige 3D-bewusste Bildsynthese. Das $\pi$-GAN nutzt neurale Darstellungen mit periodischen Aktivierungsfunktionen und volumnarisches Rendering, um Szenen als view-konsistente 3D-Darstellungen mit feinen Details zu modellieren. Der vorgeschlagene Ansatz erzielt Stand-der-Technik-Ergebnisse für 3D-bewusste Bildsynthese sowohl mit mehreren realen als auch synthetischen Datensätzen.