2 个月前

基于拓扑修改网络的单幅RGB图像深度网格重建

Junyi Pan; Xiaoguang Han; Weikai Chen; Jiapeng Tang; Kui Jia
基于拓扑修改网络的单幅RGB图像深度网格重建
摘要

得益于深度学习技术的最新进展,现在可以从单张图像重建一般物体的三维网格。然而,由于生成可行网格结构的难度较大,最先进的方法通常通过学习模板网格的位移来简化问题,从而将其变形为目标表面。尽管可以通过变形多个网格补丁来重建具有复杂拓扑结构的三维形状,但仍然难以将结果拼接以确保高质量的网格。在本文中,我们提出了一种端到端的单视图网格重建框架,该框架能够从一个单一的零亏格(genus-0)模板网格生成具有复杂拓扑结构的高质量网格。我们的方法的关键在于一种新颖的渐进式塑形框架,该框架交替进行网格变形和拓扑修改。变形网络预测每个顶点的平移量,以减少重建网格与真实数据之间的差距;而一种新颖的拓扑修改网络则用于修剪易出错的面,从而实现拓扑结构的演变。通过迭代这两个过程,可以逐步修改网格拓扑结构并提高重建精度。此外,设计了一个边界细化网络来优化边界条件,进一步提升重建网格的视觉质量。大量实验表明,我们的方法在定性和定量方面均优于当前最先进的方法,尤其是在处理具有复杂拓扑结构的形状时。

基于拓扑修改网络的单幅RGB图像深度网格重建 | 最新论文 | HyperAI超神经