PocketNet：基于神经架构搜索和多阶段知识蒸馏的极轻量级人脸识别网络

深度神经网络已迅速成为面部识别（FR）的主流方法。然而，这限制了包含极大量参数的此类模型在嵌入式和低端设备上的部署。在本研究中，我们提出了一种极其轻量且准确的面部识别解决方案，即PocketNet。我们利用神经架构搜索（NAS）开发了一种新的轻量级面向面部的架构系列。此外，我们提出了一种基于知识蒸馏（KD）的新颖训练范式——多阶段知识蒸馏，其中知识在训练的不同成熟阶段从教师模型逐步传递到学生模型。我们进行了详细的消融研究，证明了使用NAS专门针对面部识别任务而非通用对象分类的有效性，以及所提出的多阶段KD的优势。我们展示了广泛的实验评估，并与九个不同基准测试中的现有最先进（SOTA）紧凑型面部识别模型进行了比较，包括大规模评估基准如IJB-B、IJB-C和MegaFace。当考虑相同水平的模型紧凑性时，PocketNet在九个主流基准测试中均显著提升了SOTA面部识别性能。我们的最小网络PocketNetS-128仅包含0.92M参数，在与最近包含高达4M参数的SOTA紧凑型模型相比时，取得了非常有竞争力的结果。