KEPLER: 제약 없는 얼굴의 키포인트 및 포즈 추정을 위한 효율적인 H-CNN 회귀모델 학습

키포인트 검출은 얼굴 모델링, 인식 및 검증과 같은 작업에서 가장 중요한 전처리 단계 중 하나입니다. 본 논문에서는 제약이 없는 얼굴의 키포인트 추정 및 자세 예측을 위한 효율적인 H-CNN 회귀기(KEPLER) 학습 방법을 소개합니다. 최근 최신 기법들은 컨볼루션 신경망(CNNs)을 사용하여 얼굴 키포인트 검출에서 개선된 성능을 보여주었습니다. 간단한 피드 포워드 신경망은 입력 공간과 출력 공간 사이의 매핑을 학습할 수 있지만, 내재된 구조적 의존성을 학습할 수는 없습니다. 우리는 구조화된 전역 및 국소 특징을 포착하여 정확한 키포인트 검출에 유리한 새로운 아키텍처인 H-CNN (히트맵-CNN)를 제안합니다. H-CNN은 얼굴의 가시성, 피도셜스(fiducials), 그리고 3D 자세에 대해 공동으로 학습됩니다. 반복 과정이 진행됨에 따라 오류가 줄어들어 그래디언트가 작아지므로, 이를 완화하기 위해 DCNNs의 효율적인 학습이 필요합니다. KEPLER는 처음 네 번의 반복 동안 자세와 피도셜스에 대한 전역 수정을 수행하고, 이후 단계에서는 국소 수정을 수행합니다. 부산물로 KEPLER는 얼굴의 3D 자세(피치, 요우, 롤)를 정확하게 제공합니다. 본 논문에서는 3D 정보를 전혀 사용하지 않음에도 불구하고 KEPLER가 AFW 및 AFLW와 같은 도전적인 데이터셋에서 최신 기법들을 능가하는 정렬 성능을 보임을 증명합니다.