“엄마 봐, 랜드마크 없이도 돼!” – 비지도, 모델 기반의 밀도 높은 얼굴 정렬

"특징점 없이!"" - 비지도 학습 기반 모델 기반 밀도 높은 얼굴 정합 기법본 논문에서는 3D 형태 변형 모델(3D morphable model)을 유일한 감독 신호로 사용하여, 이미지에서 이미지로의 네트워크를 학습시켜 얼굴 이미지와 3D 형태 변형 모델 간의 밀도 높은 대응 관계를 예측하는 방법을 제시한다. 우리는 기하학적 파라미터(형태, 자세, 카메라 내부 파라미터)와 광학적 파라미터(텍스처, 조명)가 선형 최소제곱법과 본 연구에서 제안한 새로운 역방향 구면 조명 모델을 활용해 대응 맵에서 직접 추정될 수 있음을 보여준다. 최소제곱 잔차는 비지도 학습 신호로서, 기존 연구에서 흔히 발생하는 수축 현상과 보수적인 과소적합(underfitting)을 피할 수 있게 한다. 제안하는 방법은 기존의 파라미터 회귀 네트워크보다 크기가 10배 작으며, 이미지 정렬에 대한 민감도를 크게 감소시켜, 추론 과정에서 이미지 캘리브레이션 정보 또는 다중 이미지 제약 조건을 효과적으로 통합할 수 있다. 기존 최첨단 기법들과 경쟁 가능한 성능을 달성하였지만, 이전 방법들이 사용했던 보조적인 감독 신호를 전혀 사용하지 않았다.