17 天前

利用自监督辅助任务提升细粒度面部表征

Mahdi Pourmirzaei, Gholam Ali Montazer, Farzaneh Esmaili
利用自监督辅助任务提升细粒度面部表征
摘要

本文首先研究了ImageNet预训练对细粒度面部表情识别(Fine-Grained Facial Emotion Recognition, FER)的影响,结果表明:当对图像施加充分的数据增强时,从零开始训练(training from scratch)的表现优于在ImageNet预训练模型上进行微调(fine-tuning)。随后,本文提出一种用于提升细粒度及真实场景下(in-the-wild)面部表情识别性能的方法,称为混合多任务学习(Hybrid Multi-Task Learning, HMTL)。HMTL在传统的监督学习(Supervised Learning, SL)框架中引入自监督学习(Self-Supervised Learning, SSL)作为辅助任务,以多任务学习(Multi-Task Learning, MTL)的形式进行联合训练。通过在训练过程中融合SSL,模型能够从图像中获取额外的表征信息,从而增强主任务——细粒度监督学习任务的性能。为验证所提HMTL在FER领域的适用性,本文设计了两种针对常见预文本任务(pre-text tasks)的定制化变体,分别为拼图(puzzling)与图像修复(in-painting)。实验结果表明,仅使用这两种HMTL策略,无需依赖额外数据的预训练,即可在AffectNet基准上取得当前最优(state-of-the-art)性能。对比常规自监督学习预训练与所提出的HMTL方法的实验结果,充分展示了本文方法在性能上的显著优势与创新性。值得注意的是,HMTL的应用并不仅限于面部表情识别领域。在两个其他细粒度面部任务——头部姿态估计(head pose estimation)与性别识别(gender recognition)上的实验进一步验证了HMTL在提升细粒度面部表征能力方面的广泛潜力,展现出其作为通用增强框架的可行性与有效性。