基于插值的可微渲染器学习预测3D物体

许多机器学习模型在处理图像时，忽略了图像是由三维几何体与光线相互作用形成的二维投影这一事实，这一过程称为渲染。使机器学习模型理解图像形成可能是实现泛化的关键。然而，由于渲染管道中存在一个涉及离散分配操作的基本光栅化步骤，导致其不可微分，因此无法直接应用于基于梯度的机器学习技术。在本文中，我们提出了{\emph DIB-R}（可微分渲染框架），该框架允许对图像中的所有像素进行解析梯度计算。我们的方法的核心在于将前景光栅化视为局部属性的加权插值，而背景光栅化则视为基于距离的全局几何聚合。通过多种光照模型，我们的方法可以对顶点位置、颜色、法线、光照方向和纹理坐标进行精确优化。我们在两个机器学习应用中展示了我们的方法：单图像3D物体预测和3D纹理物体生成，这两个应用均仅使用2D监督进行训练。项目网站为：https://nv-tlabs.github.io/DIB-R/