한 번에 두 마리의 새를 잡다: 부분 FC를 통한 얼굴 인식 CNN의 효율적이고 강건한 훈련

만명 규모의 자연 환경 데이터셋과 마진 기반 소프트맥스 손실을 활용한 구분 가능한 딥 특징 임베딩 학습은 현재 얼굴 인식 분야에서 최상의 성능을 보이는 접근법이다. 그러나 완전 연결(Fully Connected, FC) 계층의 메모리 및 계산 비용은 학습 데이터셋 내 개체 수에 비례하여 선형적으로 증가한다. 또한 대규모 학습 데이터는 불가피하게 클래스 간 갈등(inter-class conflict)과 긴 꼬리 분포(long-tailed distribution) 문제를 겪는다. 본 논문에서는 FC 계층의 희소 업데이트 방식을 제안하며, 이를 '부분 FC(Partial FC, PFC)'라 명명한다. 각 반복 단계에서 긍정 클래스 중심과 무작위로 선택된 부정 클래스 중심의 하위 집합을 사용하여 마진 기반 소프트맥스 손실을 계산한다. 전체 학습 과정 동안 모든 클래스 중심을 유지하되, 각 반복마다 업데이트되는 중심은 하위 집합으로 제한된다. 이로 인해 계산 요구량, 클래스 간 갈등 발생 확률, 그리고 꼬리 클래스 중심에 대한 비활성적 업데이트 빈도가 크게 감소한다. 다양한 학습 데이터와 기반 아키텍처(CNN 및 ViT 등)를 대상으로 수행된 광범위한 실험을 통해 제안하는 PFC의 효과성, 강건성 및 효율성이 입증되었다. 소스 코드는 \https://github.com/deepinsight/insightface/tree/master/recognition 에서 공개되어 있다.