img2pose: 6DoF를 통한 얼굴 정렬 및 검출, 얼굴 자세 추정

우리는 얼굴 검출이나 랜드마크 위치화 없이 실시간으로 6개의 자유도(6DoF) 3D 얼굴 자세를 추정하는 방법을 제안합니다. 우리는 얼굴의 6DoF 강체 변환을 추정하는 것이 종종 3D 얼굴 정렬에 사용되는 얼굴 랜드마크 검출보다 더 간단한 문제임을 관찰하였습니다. 또한, 6DoF는 얼굴 경계 상자 라벨보다 더 많은 정보를 제공합니다. 이러한 관찰을 바탕으로 다음과 같은 여러 기여를 하였습니다: (a) 모든 사진 속 얼굴의 6DoF 자세를 회귀하며 사전 얼굴 검출 없이 작동하는 쉽게 학습되고 효율적인 Faster R-CNN 기반 모델을 설명합니다. (b) 입력 사진과 훈련 및 평가 과정에서 생성된 임의의 잘라낸 영역 사이에서 자세가 어떻게 변환되고 일관성을 유지되는지 설명합니다. (c) 마지막으로, 얼굴 자세가 경계 상자 검출 라벨로 대체될 수 있는 방법을 보여줍니다. AFLW2000-3D와 BIWI 데이터셋에서 수행한 테스트 결과, 우리의 방법은 실시간으로 실행되며 최신 기술(SotA) 얼굴 자세 추정기보다 우수한 성능을 보였습니다. 특히, 경계 상자 라벨에 최적화되지 않았음에도 불구하고, WIDER FACE 검출 벤치마크에서도 유사한 복잡도를 가진 SotA 모델들을 능가하는 성능을 보였습니다.