2D 및 3D 얼굴 정렬 문제를 해결하는 데 얼마나 가까워졌는가? (230,000개의 3D 얼굴 랜드마크 데이터셋)

본 논문은 기존의 2D 및 3D 얼굴 정렬 데이터셋에서 근접 포화 성능을 달성하는 데 깊은 신경망이 얼마나 가까운지를 조사합니다. 이를 위해 다음과 같은 5가지 기여를 합니다: (a) 최신의 랜드마크 위치 추정 아키텍처와 최신의 잔차 블록을 결합하여 처음으로 매우 강력한 베이스라인을 구축하고, 이를 대규모로 합성 확장된 2D 얼굴 랜드마크 데이터셋에서 훈련시킨 후 모든 다른 2D 얼굴 랜드마크 데이터셋에서 평가합니다. (b) 2D 랜드마크에 의해 안내되는 네트워크를 생성하여 2D 랜드마크 주석을 3D로 변환하고 모든 기존 데이터셋을 통합하여 LS3D-W라는 이름의 가장 크고 도전적인 3D 얼굴 랜드마크 데이터셋(약 230,000장의 이미지)을 만듭니다. (c) 그 다음으로, 우리는 이 새로 소개된 LS3D-W에서 3D 얼굴 정렬을 위한 신경망을 훈련시키고 평가합니다. (d) 우리는 큰 자세, 초기화 및 해상도와 같은 얼굴 정렬 성능에 영향을 미치는 모든 "전통적" 요소뿐만 아니라 "새로운" 요소인 네트워크의 크기 효과를 연구합니다. (e) 우리는 2D 및 3D 얼굴 정렬 네트워크가 사용된 데이터셋들을 거의 포화 상태에 가까운 놀라운 정확성을 달성한다는 것을 보여줍니다. 훈련 및 테스트 코드와 데이터셋은 https://www.adrianbulat.com/face-alignment/ 에서 다운로드할 수 있습니다.