HyperAIHyperAI

Command Palette

Search for a command to run...

DSFNet:用于遮挡鲁棒的3D密集面部对齐的双空间融合网络

Heyuan Li extsuperscript1 Bo Wang extsuperscript2 Yu Cheng extsuperscript1 Mohan Kankanhalli extsuperscript1 Robby T. Tan extsuperscript1

摘要

现有的单目3D密集面部对齐方法在严重遮挡和大视角角度的情况下使用场景受限。最先进的基于3DMM的方法直接回归模型的系数,未能充分利用低级2D空间和语义信息,而这些信息实际上可以为面部形状和方向提供线索。在这项工作中,我们展示了如何通过在图像空间和模型空间中联合建模3D面部几何来解决遮挡和视角角度问题。我们不是直接预测整个面部,而是首先通过密集预测回归可见面部区域的图像空间特征。随后,我们根据可见区域的回归特征预测模型的系数,利用可变形模型提供的全脸几何先验知识来完成不可见区域的建模。我们进一步提出了一种融合网络,该网络结合了图像空间和模型空间预测的优势,在不受约束的场景中实现了高鲁棒性和准确性。得益于所提出的融合模块,我们的方法不仅对遮挡和大俯仰角及滚转角具有鲁棒性(这是我们的图像空间方法的优点),而且对噪声和大偏航角也具有鲁棒性(这是我们的模型空间方法的优点)。全面评估表明,我们的方法相比现有最先进方法具有优越性能。在3D密集面部对齐任务中,我们在AFLW2000-3D数据集上达到了3.80%的NME(归一化均方误差),比最先进方法提高了5.5%。代码可在https://github.com/lhyfst/DSFNet获取。注释:- NME:归一化均方误差 (Normalized Mean Error)- 3DMM:三维形态模型 (3D Morphable Model)


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供