2 个月前

基于单张图像的3D物体重建点集生成网络

Fan, Haoqiang ; Su, Hao ; Guibas, Leonidas
基于单张图像的3D物体重建点集生成网络
摘要

通过深度神经网络生成三维数据在研究界正逐渐引起越来越多的关注。现有的大多数工作依赖于规则表示形式,如体素网格或图像集合;然而,这些表示方法掩盖了三维形状在几何变换下的自然不变性,并且还存在许多其他问题。本文中,我们探讨了从单张图像进行三维重建的问题,生成了一种直接的输出形式——点云坐标。随着这一问题的出现,产生了一个独特而有趣的问题,即输入图像的地面真值形状可能是模糊的。为了应对这种非传统的输出形式以及地面真值中的固有模糊性,我们设计了新颖且有效的架构、损失函数和学习范式。最终解决方案是一种条件形状采样器,能够从输入图像预测出多个合理的三维点云。实验结果表明,我们的系统不仅在基于单张图像的三维重建基准测试中优于现有最先进方法;而且在三维形状补全方面也表现出色,并具有做出多个合理预测的潜力。

基于单张图像的3D物体重建点集生成网络 | 最新论文 | HyperAI超神经