얼굴 표현 학습을 위한 사전 훈련 전략 및 데이터셋

얼굴 분석을 위한 보편적인 얼굴 표현을 배우는 최선의 방법은 무엇인가? 최근 얼굴 분석 분야에서 딥 러닝에 대한 연구는 주로 관심 있는 특정 작업(예: 얼굴 인식, 얼굴 랜드마크 위치 추정 등)을 위한 지도 학습에 초점을 맞추고 있지만, 여러 얼굴 분석 작업과 데이터셋에 쉽게 적용할 수 있는 얼굴 표현을 찾는 전반적인 질문에는 주목하지 않았다. 이에 우리는 다음과 같은 4가지 기여를 한다: (a) 처음으로, 5개의 중요한 얼굴 분석 작업으로 구성된 포괄적인 평가 벤치마크를 소개한다. (b) 대규모 표현 학습을 얼굴에 적용하는 두 가지 방법, 즉 지도 및 비지도 사전 학습을 체계적으로 조사한다. 특히, 소수 샷(few-shot) 얼굴 학습의 경우에 집중하여 평가를 수행한다. (c) 훈련 데이터셋의 크기와 품질(라벨링된, 비라벨링된 또는 심지어 정리되지 않은(uncurated))과 같은 중요한 속성을 조사한다. (d) 결론 도출을 위해 매우 많은 실험을 수행하였다. 우리의 주요 두 가지 발견은 다음과 같다: (1) 완전히 자연 환경에서 얻고 정리되지 않은 데이터에서의 비지도 사전 학습은 모든 고려된 얼굴 작업에서 일관되게, 일부 경우에는 상당한 정확도 개선을 제공한다. (2) 많은 기존의 얼굴 동영상 데이터셋이 상당한 중복성을 가지고 있는 것으로 보인다. 우리는 미래 연구를 촉진하기 위해 코드와 사전 학습된 모델을 공개할 예정이다.