HyperAIHyperAI
vor 2 Monaten

Lernen, 3D-Objekte mit einem interpolationsbasierten differenzierbaren Renderer zu vorhersagen

Wenzheng Chen; Jun Gao; Huan Ling; Edward J. Smith; Jaakko Lehtinen; Alec Jacobson; Sanja Fidler
Lernen, 3D-Objekte mit einem interpolationsbasierten differenzierbaren Renderer zu vorhersagen
Abstract

Viele maschinelles Lernmodellen arbeiten mit Bildern, ignorieren aber dabei, dass Bilder zweidimensionale Projektionen sind, die durch die Interaktion von dreidimensionaler Geometrie mit Licht entstehen – ein Prozess, der als Rendering bezeichnet wird. Das Verständnis der Bildentstehung könnte entscheidend für die Generalisierung dieser Modelle sein. Allerdings sind Rendering-Pipelines aufgrund eines wesentlichen Rasterisierungsschritts, der diskrete Zuordnungsoperationen umfasst, nicht differenzierbar und daher größtenteils für gradientenbasierte maschinelle Lernmethoden unzugänglich.In dieser Arbeit stellen wir \emph{DIB-R} vor, einen differenzierbaren Rendering-Framework, der es ermöglicht, Gradienten analytisch für alle Pixel in einem Bild zu berechnen. Kern unseres Ansatzes ist es, die Vordergrundrasterisierung als gewichtete Interpolation lokaler Eigenschaften und die Hintergrundrasterisierung als aggregierte Geometrie basierend auf Distanzen zu betrachten. Unser Ansatz ermöglicht eine genaue Optimierung von Knotenpositionen, Farben, Normalen, Lichtrichtungen und Texturkoordinaten unter Verwendung verschiedener Beleuchtungsmodelle.Wir demonstrieren unseren Ansatz in zwei Anwendungen des maschinellen Lernens: Vorhersage von 3D-Objekten aus einzelnen Bildern und Generierung texturierter 3D-Objekte. Beide Anwendungen wurden ausschließlich unter Verwendung von 2D-Supervision trainiert. Unsere Projektwebsite ist: https://nv-tlabs.github.io/DIB-R/