实时面部对齐加速：基于3D空间变换网络的无约束姿态方法

面部对齐涉及在图像上找到一组具有已知语义意义的标志点。然而，在二维方法中，当面部姿态发生变化时，这些标志点的语义意义通常会丢失，因为它们要么被移动到可见边界，要么被忽略。为了在大姿态变化下提取一致的对齐点，必须在对齐步骤中考虑面部的三维结构。然而，从单个二维图像中提取三维结构通常需要首先进行对齐。本文提出了一种新颖的方法，通过三维空间变换网络（3DSTN）同时提取面部的三维形状和语义一致的二维对齐点，该网络可以建模相机投影矩阵和三维模型的变形参数。通过使用通用的三维模型和薄板样条（TPS）变形函数，我们能够在不需要大量三维形状基的情况下生成特定对象的三维形状。此外，我们提出的网络可以在完全合成的数据集上进行端到端训练，数据来自300W-LP数据集。与其他三维方法不同，我们的方法只需一次通过网络即可实现比实时更快的对齐。我们在Annotated Facial Landmarks in the Wild (AFLW) 和 AFLW2000-3D 数据集上的评估结果表明，我们的方法在其他三维对齐方法中达到了最先进的性能。