Soft Rasterizer: Ein differenzierbarer Renderer für bildbasiertes 3D-Verständnis

Rendering schließt die Lücke zwischen 2D-Bildern und 3D-Szenen, indem es den physikalischen Prozess der Bildbildung simuliert. Durch die Invertierung eines solchen Renderers kann man sich einen lernbasierten Ansatz vorstellen, um aus 2D-Bildern 3D-Informationen zu inferieren. Allerdings beinhalten Standard-Grafik-Renderer einen grundlegenden Diskretisierungsschritt, der als Rasterisierung bezeichnet wird und der das Differenzierbarkeit des Renderingprozesses verhindert, wodurch er nicht gelernt werden kann. Im Gegensatz zu den aktuellen differenzierbaren Renderern, die nur die Renderinggradienten in der Rückpropagation approximieren, schlagen wir ein wirklich differenzierbares Renderingframework vor, das in der Lage ist, (1) direkt gefärbte Gitternetze mit differenzierbaren Funktionen zu rendern und (2) effiziente Supervisionsignale von verschiedenen Formen von Bildrepräsentationen, einschließlich Silhouette-, Schattierungs- und Farbbildern, auf die Gitternetzknoten und ihre Attribute zurückzupropagieren. Der Schlüssel zu unserem Framework ist eine neuartige Formulierung, die das Rendering als Aggregationsfunktion betrachtet, die die wahrscheinlichen Beiträge aller Gitternetz-Dreiecke bezüglich der gerenderten Pixel fusioniert. Diese Formulierung ermöglicht es unserem Framework, Gradienten auf die verdeckten und weit entfernten Knoten fließen zu lassen, was von den bisherigen Standesmethoden nicht erreicht werden konnte. Wir zeigen, dass durch den Einsatz des vorgeschlagenen Renderers sowohl qualitativ als auch quantitativ erhebliche Verbesserungen bei der unüberwachten 3D-Rekonstruktion aus einer einzelnen Ansicht erzielt werden können. Experimente belegen zudem, dass unser Ansatz in der Lage ist, herausfordernde Aufgaben im bildbasierten Shape-Fitting zu bewältigen, die für existierende differenzierbare Renderer nach wie vor nicht trivial sind.