摘要
将面部表情分类为不同的类别需要捕捉面部标志的区域变形。我们认为，二阶统计量（如协方差）更能有效地捕捉这些区域面部特征的变形。在本研究中，我们探讨了使用流形网络结构进行协方差池化的优点，以提高面部表情识别的性能。具体而言，我们首次将这种流形网络与传统的卷积网络结合，在单个图像特征图的空间池化中采用端到端的深度学习方法。通过这种方法，我们在静态面部表情数据集（Static Facial Expressions in the Wild, SFEW 2.0）验证集上达到了58.14%的识别准确率，在真实世界情感面孔数据库（Real-World Affective Faces, RAF）验证集上达到了87.0%的识别准确率。这两个结果都是我们所知的最佳结果。此外，我们利用协方差池化来捕捉基于视频的面部表情识别中每帧特征的时间演变。我们的实验结果表明，通过在卷积网络层之上堆叠设计好的协方差池化流形网络，可以有效实现图像集合特征的时间池化。