분포 예측과 CNN 앙상블을 이용한 얼굴 미학 분석

얼굴 미적 가치 예측(Facial Beauty Prediction, FBP)은 얼굴의 미적 가치를 정량화하는 컴퓨터 비전 과제이다. 최근 딥러닝 기술의 발전 덕분에 이 문제에 대한 여러 해결책이 크게 향상되었다. 그러나 현재 대부분의 방법들은 기계 학습 모델을 단순히 평균 미적 점수를 예측하도록 훈련시키며, FBP를 순수한 회귀 과제로만 간주한다. 또한, 기존의 딥러닝 기반 FBP 접근법들은 일반적인 분류 과제(예: ImageNet)에서 훈련된 모델을 전이 학습(transfer learning)을 통해 활용해왔다. 본 연구에서는 얼굴 인증(facial verification) 작업에서 사전 훈련된 다수의 합성곱 신경망(Convolutional Neural Network, CNN) 모델을 다양한 손실 함수(예: 지구 이동 거리 Earth Mover's Distance, EMD 기반 손실)를 사용해 세밀하게 조정(fine-tuning)하는 새로운 접근법을 제안한다. 이러한 방법을 통해 우리는 평균 점수뿐만 아니라 전체 미적 점수 분포를 예측할 수 있으며, 예측된 평균 점수는 실제 점수와 더 높은 피어슨 상관계수(Pearson Correlation, PC)를 보인다. 제안한 방법은 MEBeauty 데이터셋에서 평균 절대 오차(MAE), 제곱근 평균 제곱 오차(RMSE), 그리고 예측된 평균 점수와 실제 평균 점수 간의 피어슨 상관관계(PC) 측면에서 기존 최고 성능(SOTA)을 달성하였다.