Norface: 얼굴 식별 정규화를 통한 표정 분석 개선

얼굴 표정 분석은 신원, 머리 자세, 배경과 같은 예상치 못한 작업 관련성이 없는 노이즈로 인해 여전히 어려운 과제입니다. 이 문제를 해결하기 위해 본 논문에서는 Action Unit(AU) 분석과 Facial Emotion Recognition(FER) 작업을 모두 통합하는 새로운 프레임워크인 Norface를 제안합니다. Norface는 정규화 네트워크와 분류 네트워크로 구성됩니다. 먼저, 정교하게 설계된 정규화 네트워크는 얼굴 표정의 일관성을 유지하면서도 모든 원본 이미지를 동일한 신원, 일관된 자세 및 배경으로 정규화하여 위에서 언급한 작업 관련성 없는 노이즈를 직접적으로 제거하려고 합니다. 그런 다음 이러한 추가로 정규화된 이미지는 분류 네트워크에 입력됩니다. 일관된 신원 및 기타 요소(예: 머리 자세, 배경 등) 덕분에, 정규화된 이미지는 분류 네트워크가 유용한 표정 정보를 더 효과적으로 추출할 수 있게 합니다. 또한, 분류 네트워크는 전문가 혼합(Mixture of Experts)을 통합하여 잠재 표현을 개선하고, 얼굴 표현의 입력과 여러(AU 또는 감정) 라벨의 출력을 처리합니다. 광범위한 실험을 통해 신원 정규화의 통찰력을 바탕으로 세심하게 설계된 프레임워크가 검증되었습니다. 제안된 방법은 AU 검출, AU 강도 추정, FER 작업뿐만 아니라 크로스 데이터셋 작업에서도 기존 최신(SOTA) 방법들을 능가하는 것으로 나타났습니다. 정규화된 데이터셋과 코드에 대한 자세한 내용은 {https://norface-fea.github.io/}를 방문해 주시기 바랍니다.