15 天前
SNARF:用于非刚性神经隐式形状动画的可微分前向蒙皮
Xu Chen, Yufeng Zheng, Michael J. Black, Otmar Hilliges, Andreas Geiger

摘要
神经隐式表面表示作为一种新兴范式,能够以连续且与分辨率无关的方式捕捉三维形状。然而,将其应用于可动形状(articulated shapes)仍面临显著挑战。现有方法通常学习一个反向变形场,将变形后的点映射回标准姿态(canonical)空间中的对应点。但这种方法存在固有问题:反向变形场依赖于姿态(pose-dependent),因此需要大量数据进行学习。为解决这一问题,我们提出SNARF(Skinning-aware Neural Implicit Representation with Forward deformation),该方法结合了线性混合皮肤(Linear Blend Skinning, LBS)在多边形网格上的优势与神经隐式表面的表达能力,通过学习一个无需直接监督的前向变形场来实现。该变形场定义在标准姿态、与姿态无关的空间中,从而能够有效泛化至未见姿态。然而,仅从带有姿态的网格中学习变形场极具挑战性,因为变形点之间的对应关系是隐式定义的,且在拓扑结构发生变化时可能不唯一。为此,我们提出一种前向皮肤化模型,通过迭代根求解方法,自动找到任意变形点在标准姿态空间中的所有可能对应点。同时,我们利用隐式微分推导出解析梯度,从而实现从带有骨骼变换的三维网格数据中端到端的训练。与当前最先进的神经隐式表示方法相比,我们的方法在泛化至未见姿态方面表现更优,同时保持了高精度。我们在多种复杂场景下验证了该方法的有效性,包括处于不同且未见姿态下的(穿着衣物的)三维人体建模任务。