2 个月前

嵌套形状层网络:通过嵌套形状层预测3D几何结构

Stephan R. Richter; Stefan Roth
嵌套形状层网络:通过嵌套形状层预测3D几何结构
摘要

在本文中,我们开发了一种新颖且高效的3D几何的2D编码方法,该方法能够从单个图像以高分辨率重建完整的3D形状。核心思想是将3D形状重建问题转化为2D预测问题。为此,我们首先开发了一个简单的基线网络,该网络能够在参考视图的每个像素处预测整个体素管。通过利用已被广泛验证的2D像素预测任务架构,我们取得了最先进的结果,明显优于纯粹基于体素的方法。为了将这一基线扩展到更高分辨率,我们提出了一种内存高效的形状编码方法,该方法递归地将3D形状分解为嵌套的形状层,类似于俄罗斯套娃(Matryoshka doll)的各个部分。这使得我们可以重建具有复杂拓扑结构的高度详细形状,这一点在广泛的实验中得到了充分证明;尽管我们的架构使用了标准的网络组件,但其性能明显优于以往基于八叉树的方法。此外,我们的俄罗斯套娃网络还支持从ID或形状相似性进行形状重建以及形状采样。

嵌套形状层网络:通过嵌套形状层预测3D几何结构 | 最新论文 | HyperAI超神经