Neuraler 3D-Gitter-Renderer

Welche 3D-Darstellung ist am ehesten geeignet, um die 3D-Welt hinter 2D-Bildern zu modellieren? Ein Polygongitter (polygon mesh) ist aufgrund seiner Kompaktheit und geometrischen Eigenschaften ein vielversprechender Kandidat. Allerdings ist es nicht einfach, ein Polygongitter mit neuronalen Netzen aus 2D-Bildern zu modellieren, da die Umwandlung eines Gitters in ein Bild, oder das Rendern, eine diskrete Operation beinhaltet, die als Rasterisierung bezeichnet wird und die Rückwärtspropagation verhindert. Daher schlagen wir in dieser Arbeit einen approximativen Gradienten für die Rasterisierung vor, der es ermöglicht, das Rendern in neuronale Netze zu integrieren. Mit diesem Renderer führen wir eine 3D-Gitterrekonstruktion aus einem einzelnen Bild unter Verwendung von Silhouettenbildüberwachung durch, wobei unser System den bestehenden voxelbasierten Ansatz übertrifft. Zudem führen wir erstmals gradientbasierte 3D-Gitterbearbeitungsoperationen wie 2D-zu-3D-Stilvertrag und 3D-DeepDream unter 2D-Überwachung durch. Diese Anwendungen zeigen das Potenzial der Integration eines Gitterrenderers in neuronale Netze sowie die Effektivität unseres vorgeschlagenen Renderers.