초록
히트맵 회귀는 랜드마크 위치 추정에 오랫동안 사용되어 왔습니다. 대부분의 방법은 히트맵 분류 단계에서 병목 모듈(bottleneck modules)의 매우 깊은 층을 사용하고, 그 다음으로 히트맵 회귀를 통해 키포인트를 추출합니다. 본 논문에서는 Pose Conditioned Dendritic Convolutional Neural Network (PCD-CNN)이라고 명명된 단일 덴드릭 CNN을 제시합니다. 이 모델은 분류 네트워크 이후에 두 번째로 모듈화된 분류 네트워크가 따라오며, 이를 엔드투엔드 방식으로 학습하여 정확한 랜드마크 점을 얻습니다. 베이지안 공식에 따라, 우리는 포즈(POSE)에 조건부로 랜드마크 추정을 명시적으로 분리하여, 다중 작업 접근법과 구별됩니다. 광범위한 실험 결과, 포즈에 대한 조건부 설정이 얼굴 포즈와 무관하게 위치 오차를 줄임으로써 효과적임을 보여주었습니다. 제안된 모델은 다른 데이터셋에도 적용할 수 있도록 랜드마크 점의 개수를 가변적으로 생성할 수 있습니다. 네트워크의 깊이나 폭을 늘리는 대신, Mask-Softmax 손실과 어려운 샘플 채굴(hard sample mining)을 사용하여 효율적으로 CNN을 학습시켰으며, 이로 인해 AFLW, AFW, COFW 및 IBUG와 같은 도전적인 데이터셋에서 극단적이고 중간 포즈의 얼굴 이미지에 대해 최신 기술(state-of-the-art methods)보다 최대 15%의 오차 감소를 달성했습니다.