Ad-Corre: 자연환경에서의 얼굴 표정 인식을 위한 적응형 상관 기반 손실

야외에서 깊은 신경망을 활용한 자동화된 얼굴 표정 인식(Facial Expression Recognition, FER)은 얼굴 이미지 내에서 클래스 내 변동성(intra-class variations)과 클래스 간 유사성(inter-class similarities)이 크기 때문에 여전히 도전적인 과제이다. 깊은 메트릭 학습(Deep Metric Learning, DML)은 학습된 임베딩 특징의 구분 능력을 향상시킴으로써 이러한 문제들을 다루는 널리 사용되는 방법 중 하나이다. 본 논문에서는 동일 클래스 내 샘플 간에는 높은 상관성을 가지도록, 이질 클래스 간에는 낮은 상관성을 가지도록 네트워크가 임베딩 특징 벡터를 생성하도록 유도하는 '적응형 상관도(Adaptive Correlation, Ad-Corre) 손실'을 제안한다. Ad-Corre 손실은 특징 구분기(Feature Discriminator), 평균 구분기(Mean Discriminator), 임베딩 구분기(Embedding Discriminator)의 세 가지 구성 요소로 구성된다. 특징 구분기 컴포넌트는 동일한 클래스에 속한 특징 벡터 간에는 높은 상관성을, 서로 다른 클래스에 속한 특징 벡터 간에는 낮은 상관성을 갖도록 네트워크를 유도하도록 설계하였다. 또한 평균 구분기 컴포넌트는 서로 다른 클래스의 평균 임베딩 특징 벡터가 서로 유사하지 않도록 유도한다. 본 연구에서는 Xception 네트워크를 모델의 백본으로 사용하며, 기존 연구와 달리 k개의 특징 벡터를 포함하는 임베딩 특징 공간을 제안한다. 이후 임베딩 구분기 컴포넌트는 서로 유사하지 않은 임베딩 특징 벡터를 생성하도록 네트워크에 패널티를 부과한다. 제안된 Ad-Corre 손실과 교차 엔트로피 손실을 결합하여 모델을 학습하였으며, AffectNet, RAF-DB, FER-2013 데이터셋에서 매우 우수한 인식 정확도를 달성하였다. 광범위한 실험 및 아브레이션 스터디 결과는 본 방법이 야외 환경에서 매우 도전적인 FER 작업에 효과적으로 대응할 수 있음을 입증한다.