18 天前
ATF:通过利用不同数据集间的相似性与多样性实现鲁棒的人脸对齐
{Jian Cheng, Cong Leng, Fangzhou Xiong, Qinghao Hu, Xing Lan}
摘要
人脸对齐是多媒体领域中的一个重要任务。随着算法的显著进步,近年来已陆续发布多种基准数据集。直观上,将具有不同标注方式的多个标注数据集进行整合,有助于提升目标关键点检测器的性能。尽管已有大量研究致力于多数据集联合使用,但现有方法仍存在三大局限:额外的计算开销、标注方案的局限性,以及对回归类方法支持不足。为解决上述问题,本文提出一种新颖的交替训练框架(Alternating Training Framework, ATF),通过挖掘多源多媒体数据之间的相似性与多样性,构建更具鲁棒性的检测器。该框架主要包含两个子模块:比例递减的交替训练(Alternating Training with Decreasing Proportions, ATDP)与混合分支损失(Mixed Branch Loss, $\mathcal{L}{MB}$)。其中,ATDP 采用多数据集并行训练策略,以充分利用不同数据集间的差异性;$\mathcal{L}{MB}$ 则通过利用相似关键点对,对对应数据集的不同分支施加约束,增强模型的泛化能力。在多个基准数据集上的大量实验验证了所提框架的有效性。ATF 适用于基于热图的网络结构,也适用于直接坐标回归方法。特别地,在 300W 数据集上的实验中,结合 WFLW 数据集后,平均误差降低至 3.17,显著优于现有最先进方法。无论是在普通卷积网络(OCN)还是 HRNet 架构下,ATF 均实现了最高达 9.96% 的相对性能提升。相关源代码已公开,地址为:https://github.com/starhiking/ATF。