Soft Rasterizer : Un moteur de rendu différentiable pour la raisonnement 3D basé sur les images

Le rendu (rendering) comble l'écart entre la vision 2D et les scènes 3D en simulant le processus physique de formation d'images. En inversant un tel rendu, on peut envisager une approche d'apprentissage pour inférer des informations 3D à partir d'images 2D. Cependant, les moteurs de rendu graphique standards impliquent une étape de discrétisation fondamentale appelée rasterisation, qui empêche le processus de rendu d'être différentiable, donc capable d'être appris. Contrairement aux rendus différentiables de pointe actuels, qui ne font qu'approximer le gradient du rendu lors de la rétropropagation, nous proposons un cadre de rendu véritablement différentiable capable de (1) rendre directement des maillages colorés à l'aide de fonctions différentiables et (2) rétropropager efficacement des signaux de supervision aux sommets du maillage et à leurs attributs à partir de diverses formes de représentations d'images, y compris les silhouettes, l'ombrage et les images colorées. La clé de notre cadre est une nouvelle formulation qui considère le rendu comme une fonction d'agrégation fusionnant les contributions probabilistes de tous les triangles du maillage par rapport aux pixels rendus. Cette formulation permet à notre cadre de faire circuler des gradients vers les sommets occultés et éloignés, ce qui n'est pas possible avec les méthodes précédentes. Nous montrons que l'utilisation du rendu proposé permet d'obtenir des améliorations significatives dans la reconstruction mono-vue non supervisée en 3D, tant sur le plan qualitatif que quantitatif. Les expériences démontrent également que notre approche est capable de traiter des tâches difficiles en ajustement de forme basé sur des images, qui restent non triviales pour les rendus différentiables existants.