2달 전

전 포즈 범위에서의 얼굴 정렬: 3D 총괄 솔루션

Zhu, Xiangyu ; Liu, Xiaoming ; Lei, Zhen ; Li, Stan Z.
전 포즈 범위에서의 얼굴 정렬: 3D 총괄 솔루션
초록

얼굴 정렬은 이미지에 얼굴 모델을 맞추고 얼굴 픽셀의 의미적 특성을 추출하는 것으로, 컴퓨터 비전 분야에서 중요한 주제였습니다. 그러나 대부분의 알고리즘은 작은 각도에서 중간 각도(요(yaw) 각도가 45도 미만)의 얼굴에 설계되어 있어, 최대 90도까지의 큰 각도에서 얼굴을 정렬하는 능력이 부족합니다. 이 문제는 세 가지 측면에서 도전과제를 제시합니다. 첫째, 일반적으로 사용되는 랜드마크 얼굴 모델은 모든 랜드마크가 보이는 것을 가정하므로 큰 각도에서는 적합하지 않습니다. 둘째, 큰 각도에서는 프론트얼 뷰에서 프로필 뷰까지 얼굴의 외관이 더욱 극적으로 변화합니다. 셋째, 큰 각도에서 랜드마크를 라벨링하는 것은 보이지 않는 란드마크를 추측해야 하기 때문에 매우 어려운 작업입니다.본 논문에서는 이러한 세 가지 도전 과제를 해결하기 위해 새로운 정렬 프레임워크인 3D 밀집 얼굴 정렬(3D Dense Face Alignment, 3DDFA)을 제안합니다. 이 프레임워크는 캐스케이드 컨볼루션 신경망(Cascaded Convolutional Neural Networks)을 통해 이미지에 밀집된 3D 변형 가능 모델(Dense 3D Morphable Model, 3DMM)을 맞추는 방식으로 작동합니다. 또한 우리는 3D 정보를 활용하여 프로필 뷰의 얼굴 이미지를 합성하여 훈련용 샘플을 충분히 제공할 수 있도록 합니다. 어려운 AFLW 데이터베이스에서 수행한 실험 결과, 제안된 접근법이 기존 최신 방법들보다 상당한 개선 효과를 나타냈습니다.

전 포즈 범위에서의 얼굴 정렬: 3D 총괄 솔루션 | 최신 연구 논문 | HyperAI초신경