一句话总结

通过直接从面部识别DCNN的隐藏层预测性别、眼镜和帽子使用等面部属性，并应用变量选择来定位相关神经元，作者证明了这些模型能够以超过96%的准确率内在编码语义线索，其性能与监督式属性网络相差不到三个百分点，为客观可视化方法提供了一种可量化的替代方案。

核心贡献

• 本研究提出了一种定量框架，通过在隐藏层输出上训练属性分类器，来测量网络各深度处语义特征的隐式编码情况。
• 应用变量选择技术将特定面部属性映射到每一层中的精确神经元，从而确立相关特征在整个架构中的确切分布与定位。
• 实验结果表明，仅使用单个神经元的输出即可超过96%的准确率预测性别、眼镜和帽子使用，其性能与专门针对属性识别优化的网络相差不到三个百分点。

引言

深度学习的表征已成为面部识别的标准，但其潜在特征仍然缺乏透明度，限制了模型在关键应用场景中的可信度与可解释性。先前的可解释性研究主要依赖可视化技术，这些技术往往具有主观性，难以在现代架构中扩展，且通常与面部识别网络在推理过程中作为特征提取器的实际运作方式不符。为解决这一问题，作者利用了一种定量分析框架，直接在隐藏层输出上训练属性分类器以测量隐式语义编码。通过应用变量选择技术，他们精确定位了负责特定面部属性的神经元，并证明在针对身份识别优化的网络中，单个神经元即可超过96%的准确率预测性别和眼镜等属性，其表现可与专门针对这些任务训练的网络相媲美。

方法

作者利用一套系统框架来分析深度学习面部识别网络所学习的潜在表征，重点聚焦于语义面部属性的编码过程。整体架构涉及处理从深度卷积神经网络（DCNN，如ResNet50）的每个隐藏层提取的特征，以确定特定面部属性的表征程度。该框架首先从指定层提取高维特征图，随后进行处理以执行两项主要分析：属性预测与神经元级别的关联性评估。

参见框架示意图 。对于每一层，高维特征首先经过偏最小二乘（PLS）投影以降低维度，同时保留与属性相关的判别性信息。随后使用此低维投影训练一个简单的属性分类器，其准确率作为衡量该层对目标属性编码程度的定量指标。该方法能够为网络各深度处的每个属性生成性能曲线，揭示属性学习从浅层到深层的演进过程。

如图下所示：，PLS投影通过非线性迭代偏最小二乘（NIPALS）算法实现。该算法通过迭代更新最大化提取得分之间的协方差，从而将输入特征矩阵 $X$X 和属性矩阵 $Y$Y 分别分解为低维因子 $T$T 和 $U$U。该算法针对每个属性独立执行，以防止不同属性投影之间产生干扰。生成的低维空间用于训练分类器，并计算VIP（投影变量重要性）分数，以识别对判别性投影贡献最大的相关神经元。第 $j$j 个神经元的VIP分数由以下公式给出：

其中 $m$m 为原始维度，$k$k 为投影维度，$SS_i$SSi​ 为第 $i$i 个分量解释的平方和。该分数允许对网络进行细粒度分析，识别出编码属性预测信息的具体神经元与卷积核。该框架还通过仅使用所选神经元作为输入来测量分类器性能，从而评估VIP选择的有效性。

实验

评估过程在VGGFace2数据集上训练ResNet50面部识别网络，并通过分析网络各深度、卷积核及单个神经元上的40项CelebA属性来验证其内部表征。深度分析表明，浅层特征能有效捕捉语义线索，而深层则逐步过滤类内差异以优先保留身份特异性信息；神经元级分析则证实，属性数据集中在少数高分单元中，且未牺牲预测性能。实验进一步表明，残差跳跃连接会引发可预测的准确率波动，且基于激活的可视化方法经常无法准确反映实际编码的概念。最终，该研究得出结论：标准识别架构隐式编码了丰富的语义与软生物特征信息，其性能与完全监督的属性预测模型相比仍极具竞争力。

作者分析了基于ResNet50架构的深度卷积神经网络在预测CelebA数据集面部属性方面的性能。结果显示，浅层特征能够捕捉多种属性的判别性信息，性能通常在网络较浅处趋于平稳或在深层下降，且属性信息集中在少数神经元中。尽管这些特征并非为属性识别而训练，但该网络预测某些属性的能力仍与完全监督方法相当。网络浅层特征对多种面部属性具有判别性，准确率通常在网络较浅处趋于平稳。对于部分属性，深层网络的属性预测准确率有所下降，这表明模型对肤色或亮度等变化具有鲁棒性。每个属性的信息集中在少数神经元中，高分神经元较为罕见，且单个神经元的表现几乎与整个层相当。

作者评估了深度识别特征在CelebA数据集上进行属性预测的性能，对比了包括使用整个层、最佳卷积核及最佳神经元在内的多种方法。结果显示，虽然单个神经元和卷积核能够捕捉属性信息，但其性能通常低于使用完整层，且在不同属性间存在显著差异。表现最佳的方法在部分属性上达到了与监督式多任务网络相当的准确率。使用层内最佳神经元或卷积核所得准确率低于使用整个层，表明属性信息虽集中但鲁棒性较弱。不同属性的属性预测性能差异显著，部分属性准确率较高，而其他属性则低得多。对于特定属性，深度识别特征取得了与监督式多任务网络相当的结果，表明其编码了相关的语义信息。

作者通过在CelebA数据集上评估预训练的ResNet50，来考察面部属性信息在网络各深度及单个神经元中的分布情况。这些实验证实，属性识别能力主要被浅层捕获，并高度集中在少数神经元子集中，而非均匀分布在整个架构中。尽管未针对此任务进行显式训练，预训练特征在多个属性上仍达到了与监督式多任务模型相当的性能，证明深度识别网络内在编码了鲁棒的语义线索。最终，研究结果凸显了卷积架构中面部属性表征的稀疏性及其高度判别性的特征。