PocketNet: 신경망 아키텍처 검색과 다단계 지식 증류를 이용한 극도로 가벼운 얼굴 인식 네트워크

깊은 신경망은 얼굴 인식(FR)의 주류 방법으로 빠르게 자리 잡았습니다. 그러나 이는 매우 많은 매개변수를 포함하는 이러한 모델을 임베디드 및 저사양 장치에 배포하는 것을 제한합니다. 본 연구에서는 매우 가볍고 정확한 FR 솔루션인 PocketNet을 소개합니다. 우리는 신경망 구조 탐색(NAS)을 활용하여 새로운 가벼운 얼굴 전용 구조군을 개발하였습니다. 또한, 지식 증류(KD) 기반의 새로운 훈련 패러다임인 다단계 KD를 제안합니다. 여기서 지식은 훈련 과정의 다양한 단계에서 교사 모델로부터 학생 모델로 증류됩니다. 우리는 NAS를 일반 객체 분류보다 특정 FR 작업에 사용하는 것이 타당하며, 제안된 다단계 KD의 이점을 입증하기 위한 상세한 아블레이션 연구를 수행하였습니다. 아홉 가지 다른 벤치마크,其中包括大规模评估基准如IJB-B, IJB-C, 和 MegaFace上，我们展示了广泛的实验评估和与最先进(SOTA)紧凑型FR模型的比较。在考虑相同水平的模型紧凑性时，PocketNets在九个主流基准测试中始终提升了SOTA FR性能。我们的最小网络PocketNetS-128拥有0.92M参数，在最近包含多达4M参数的SOTA紧凑型模型中取得了非常有竞争力的结果。修正后的韩文翻译如下：깊은 신경망은 얼굴 인식(FR)의 주요 방법으로 빠르게 자리 잡았습니다. 그러나 이는 매우 많은 매개변수를 포함하는 이러한 모델을 임베디드 및 저사양 장치에 배포하는 것을 제한합니다. 본 연구에서는 매우 가볍고 정확한 FR 솔루션인 PocketNet을 소개합니다. 우리는 신경망 구조 탐색(NAS)을 활용하여 새로운 가벼운 얼굴 전용 구조군을 개발하였습니다. 또한, 지식 증류(KD) 기반의 새로운 훈련 패러다임인 다단계 KD를 제안합니다. 여기서 지식은 훈련 과정의 다양한 단계에서 교사 모델로부터 학생 모델로 증류됩니다. 우리는 NAS를 일반 객체 분류보다 특정 FR 작업에 사용하는 것이 타당하며, 제안된 다단계 KD의 이점을 입증하기 위한 상세한 아블레이션 연구를 수행하였습니다. 아홉 가지 다른 벤치마크, 특히 대규모 평가 벤치마크인 IJB-B, IJB-C 및 MegaFace에서 광범위한 실험 평가와 최신 기술(SOTA) 컴팩트 FR 모델과의 비교 결과를 제시하였습니다. 동일한 수준의 모델 컴팩트성을 고려할 때, PocketNets는 아홉 개 주요 벤치마크에서 SOTA FR 성능을 일관되게 향상시켰습니다. 0.92M 매개변수를 가진 가장 작은 네트워크인 PocketNetS-128은 최근까지 4M 매개변수까지 포함하는 SOTA 컴팩트 모델들과 비교해 매우 경쟁력 있는 결과를 달성했습니다.