2달 전

두 단계 합성곱 부분 히트맵 회귀를 이용한 1차 실외 3D 얼굴 정렬 (3DFAW) 챌린지

Adrian Bulat; Georgios Tzimiropoulos
두 단계 합성곱 부분 히트맵 회귀를 이용한 1차 실외 3D 얼굴 정렬 (3DFAW) 챌린지
초록

본 논문은 제1회 3차원 얼굴 정렬 인 더 와일드(3DFAW) 챌린지에 대한 우리의 제출 내용을 설명합니다. 우리의 방법은 컨벌루션 파트 히트맵 회귀[1]의 아이디어를 기반으로 하며, 이를 3차원 얼굴 정렬에 확장하였습니다. 우리의 방법은 이 문제를 두 부분으로 분해합니다: (a) X, Y (2D) 추정 및 (b) Z (깊이) 추정입니다. 첫 번째 단계에서, 우리의 방법은 각 랜드마크마다 하나씩의 2D 히트맵 세트를 생성하여 컨벌루션 파트 히트맵 회귀를 사용하여 얼굴 랜드마크의 X, Y 좌표를 추정합니다. 그 다음, 이러한 히트맵과 입력 RGB 이미지는 잔여 학습을 통해 Z 좌표를 회귀하기 위해 훈련된 매우 깊은 서브네트워크의 입력으로 사용됩니다. 우리의 방법은 3DFAW 챌린지에서 1위를 차지하였으며, 두 번째로 좋은 결과보다 22% 이상 우수한 성능을 보였습니다.