部分全连接：在单台机器上训练一亿个身份

人脸识别长期以来一直是计算机视觉领域中一个活跃且至关重要的研究方向。以往的研究主要聚焦于用于人脸特征提取网络的损失函数，其中基于Softmax的损失函数的改进显著提升了人脸识别的性能。然而，随着人脸身份数量的急剧增加与GPU显存资源短缺之间的矛盾日益加剧，这一问题正变得愈发难以调和。本文深入分析了基于Softmax的损失函数的优化目标及其在大规模身份训练中所面临的挑战。研究发现，在人脸表征学习中，Softmax函数中负类的重要性实际上并未如以往认为的那般显著。实验表明，在主流基准测试上，使用最先进的模型进行训练时，仅随机采样10%的类别来构建基于Softmax的损失函数，其识别准确率与使用全部类别训练相比几乎无损失。此外，本文还提出了一种高效且实用的分布式采样算法，在保证模型精度的同时显著提升了训练效率。该方法仅需8块NVIDIA RTX 2080 Ti显卡，即可完成包含数千万身份的分类任务。相关代码已公开，可访问：https://github.com/deepinsight/insightface/tree/master/recognition/partial_fc。