17 天前

LDDMM-Face:用于灵活且一致人脸对齐的大变形微分同胚度量学习

Huilin Yang, Junyan Lyu, Pujin Cheng, Xiaoying Tang
LDDMM-Face:用于灵活且一致人脸对齐的大变形微分同胚度量学习
摘要

我们创新性地提出了一种灵活且一致的人脸对齐框架——LDDMM-Face。其核心贡献在于引入了一个变形层,能够以微分同胚(diffeomorphic)的方式自然嵌入人脸几何结构。与传统方法通过热图或坐标回归预测人脸关键点不同,本方法将该任务建模为微分同胚配准问题,通过预测唯一参数化初始边界与真实边界之间变形的动量(momenta),并同时对曲线和关键点执行大变形微分同胚度量映射(Large Deformation Diffeomorphic Metric Mapping, LDDMM),从而实现人脸关键点的精确定位。由于将LDDMM嵌入深度网络架构中,LDDMM-Face能够在无需歧义的情况下一致地标注人脸关键点,并灵活适应多种标注方案,甚至可从稀疏标注中预测稠密标注。该方法可无缝集成至各类人脸对齐网络中。我们在四个基准数据集(300W、WFLW、HELEN 和 COFW-68)上进行了全面评估。在传统的同数据集、同标注格式设置下,LDDMM-Face的表现与当前最先进方法相当或更优;而在弱监督学习(部分标注到完整标注)、挑战性场景(如遮挡人脸)以及训练与测试数据集不一致等复杂情形下,其性能尤为突出。此外,LDDMM-Face在最具挑战性的跨数据集、跨标注方案的关键点预测任务中也展现出令人瞩目的效果。