AdaCos: 적응적으로 스케일링된 코사인 로짓을 이용한 딥 페이스 표현의 효과적인 학습

코사인 기반 소프트맥스 손실 함수와 그 변형들은 딥 러닝 기반 얼굴 인식에서 큰 성공을 거두었습니다. 그러나 이러한 손실 함수의 하이퍼파라미터 설정은 최적화 경로와 최종 인식 성능에 큰 영향을 미칩니다. 하이퍼파라미터를 수동으로 조정하는 것은 사용자의 경험에 크게 의존하며 많은 훈련 트릭이 필요합니다. 본 논문에서는 코사인 기반 소프트맥스 손실 함수의 두 가지 중요한 하이퍼파라미터, 스케일 파라미터와 각도 마진 파라미터가 예측된 분류 확률을 어떻게 조절하는지 분석하여 이들의 효과를 깊이 연구합니다. 이러한 분석을 바탕으로 하이퍼파라미터가 없는 새로운 코사인 기반 소프트맥스 손실 함수, AdaCos를 제안합니다. AdaCos는 적응형 스케일 파라미터를 활용하여 훈련 과정 중 자동으로 훈련 감독을 강화합니다. 제안된 AdaCos 손실 함수를 LFW, MegaFace, IJB-C 1:1 검증 등 대규모 얼굴 인증 및 식별 데이터셋에 적용했습니다. 결과는 딥 뉴럴 네트워크를 AdaCos 손실 함수로 훈련시키면 안정적이며 높은 얼굴 인식 정확도를 달성할 수 있음을 보여줍니다. 본 방법은 세 개의 데이터셋 모두에서 최신 소프트맥스 손실 함수들을 능가하였습니다.