LUVLi 얼굴 정렬: 키포인트 위치, 불확실성 및 가시성 가능성 추정

최근의 얼굴 정렬 기법은 얼굴 랜드마크의 위치를 매우 정확하게 예측하는 데까지 도달했지만, 일반적으로 예측된 위치의 불확실성을 추정하거나 랜드마크가 가시적인지 여부를 예측하지는 않는다. 본 논문에서는 랜드마크 위치, 해당 위치의 불확실성, 그리고 랜드마크의 가시성을 동시에 예측하는 새로운 프레임워크를 제안한다. 우리는 이러한 변수들을 혼합 확률 변수(mixed random variables)로 모델링하고, 제안하는 위치-불확실성-가시성 가능성(Location, Uncertainty, and Visibility Likelihood; LUVLi) 손실 함수를 사용하여 학습된 딥 네트워크를 통해 이를 추정한다. 또한, 다양한 머리 자세를 포함한 19,000장 이상의 얼굴 이미지를 포함하는 대규모 얼굴 정렬 데이터셋에 대해 완전히 새로운 레이블링을 공개한다. 각 얼굴 이미지에 대해 68개의 랜드마크 위치를 수작업으로 정확한 참값으로 레이블링하였으며, 각 랜드마크가 가림되지 않은 상태(unoccluded), 극단적인 머리 자세로 인한 자가 가림(self-occluded) 또는 외부 요인에 의한 가림(externally occluded)인지에 대한 추가 정보도 포함하였다. 제안하는 연합 추정 방식은 예측된 랜드마크 위치의 불확실성에 대해 매우 정확한 추정을 제공할 뿐만 아니라, 여러 표준 얼굴 정렬 데이터셋에서 랜드마크 위치 자체에 대한 최신 기술 수준의 정확도를 달성한다. 본 방법이 예측한 랜드마크 위치의 불확실성은 얼굴 정렬이 실패하는 입력 이미지를 자동으로 식별하는 데 활용될 수 있으며, 이는 후속 작업에 있어 매우 중요한 역할을 할 수 있다.