2 个月前

扩散3D特征(Diff3F):用蒸馏语义特征装饰无纹理形状

Dutt, Niladri Shekhar ; Muralikrishnan, Sanjeev ; Mitra, Niloy J.
扩散3D特征(Diff3F):用蒸馏语义特征装饰无纹理形状
摘要

我们介绍了Diff3F,这是一种简单、鲁棒且类别无关的特征描述符,可以用于无纹理输入形状(网格或点云)的计算。我们的方法从图像基础模型中提取扩散特征并将其应用到输入形状上。具体而言,我们利用输入形状生成深度图和法线图,作为条件图像合成的引导。在此过程中,我们在二维空间中生成了(扩散)特征,然后将其提升并聚合到原始表面上。我们的关键观察是,即使从多视角渲染输入形状得到的条件图像生成结果不一致,相关的图像特征依然具有鲁棒性,因此可以直接在不同视角之间进行聚合。这在无需额外数据或训练的情况下,在输入形状上产生了语义特征。我们在多个基准测试(SHREC'19、SHREC'20、FAUST和TOSCA)上进行了广泛的实验,并证明了我们的特征由于是语义而非几何特征,能够在等距和非等距相关的形状家族之间产生可靠的对应关系。代码可通过项目页面获取:https://diff3f.github.io/

扩散3D特征(Diff3F):用蒸馏语义特征装饰无纹理形状 | 最新论文 | HyperAI超神经