HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen, 3D-Objekte mit einem interpolationsbasierten differenzierbaren Renderer zu vorhersagen

Wenzheng Chen Jun Gao Huan Ling Edward J. Smith Jaakko Lehtinen Alec Jacobson Sanja Fidler

Zusammenfassung

Viele maschinelles Lernmodellen arbeiten mit Bildern, ignorieren aber dabei, dass Bilder zweidimensionale Projektionen sind, die durch die Interaktion von dreidimensionaler Geometrie mit Licht entstehen – ein Prozess, der als Rendering bezeichnet wird. Das Verständnis der Bildentstehung könnte entscheidend für die Generalisierung dieser Modelle sein. Allerdings sind Rendering-Pipelines aufgrund eines wesentlichen Rasterisierungsschritts, der diskrete Zuordnungsoperationen umfasst, nicht differenzierbar und daher größtenteils für gradientenbasierte maschinelle Lernmethoden unzugänglich.In dieser Arbeit stellen wir \emph{DIB-R} vor, einen differenzierbaren Rendering-Framework, der es ermöglicht, Gradienten analytisch für alle Pixel in einem Bild zu berechnen. Kern unseres Ansatzes ist es, die Vordergrundrasterisierung als gewichtete Interpolation lokaler Eigenschaften und die Hintergrundrasterisierung als aggregierte Geometrie basierend auf Distanzen zu betrachten. Unser Ansatz ermöglicht eine genaue Optimierung von Knotenpositionen, Farben, Normalen, Lichtrichtungen und Texturkoordinaten unter Verwendung verschiedener Beleuchtungsmodelle.Wir demonstrieren unseren Ansatz in zwei Anwendungen des maschinellen Lernens: Vorhersage von 3D-Objekten aus einzelnen Bildern und Generierung texturierter 3D-Objekte. Beide Anwendungen wurden ausschließlich unter Verwendung von 2D-Supervision trainiert. Unsere Projektwebsite ist: https://nv-tlabs.github.io/DIB-R/


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp