코, 눈, 귀: 얼굴 특징점 위치를 통한 머리 자세 추정

단안 머리 자세 추정은 사람 얼굴의 입력 이미지에서 자세(yaw, pitch, roll)에 대한 내재적 오일러 각을 계산하는 모델을 학습하는 것을 필요로 합니다. 야외 환경에서 이미지의 실제 머리 자세 각도를 주석화하는 것은 어렵고 특수한 적합 절차가 필요합니다(이는 단순하고 근사적인 주석만 제공합니다). 이는 제어된 환경에서 수집된 데이터로 학습할 수 있고, 얼굴의 다양한 외관과 조명 조건을 가진 야외 환경의 이미지에 일반화할 수 있는 접근 방식의 필요성을 강조합니다. 현재 대부분의 딥 러닝 접근 방식은 입력 이미지에서 직접 회귀 함수를 학습하지만, 이러한 방법들은 이를 성공적으로 수행하지 못합니다. 이를 해결하기 위해, 우리는 딥 러닝 아키텍처를 사용하면서 더 고급 표현을 통해 머리 자세를 회귀하는 방법을 제안합니다. 구체적으로, 왼쪽 귀, 오른쪽 귀, 왼쪽 눈, 오른쪽 눈 및 코라는 다섯 개의 얼굴 특징점 위에 2D 소프트 위치 결정 히트맵 이미지를 사용하여 불확실성 맵을 생성하고 이를 컨벌루션 신경망(CNN)을 통해 머리 자세를 회귀합니다. 우리는 BIWI와 AFLW라는 두 가지 도전적인 벤치마크에서 머리 자세 추정 결과를 보여주며, 우리의 접근 방식이 두 데이터셋 모두에서 기존 최신 연구들을 능가함을 입증하였습니다.