DAD-3DHeads: 단일 이미지에서 3D 헤드 정렬을 위한 대규모 밀도 높고 정확하며 다양한 데이터셋

우리는 자연 환경에서의 3D 밀집 헤드 정렬을 위한 밀집하고 다양한 대규모 데이터셋 DAD-3DHeads와 강건한 모델을 제안한다. 이 데이터셋은 지상 진실(ground-truth) 스캔과 비교해 정확한 3D 헤드 형태를 반영하는 3,500개 이상의 랜드마크를 포함하고 있다. 본 연구에서 제안하는 데이터 기반 모델인 DAD-3DNet은 제시된 데이터셋으로 학습하여 형태(shape), 표정(expression), 자세(pose) 파라미터를 학습하며, FLAME 메시의 3D 재구성 작업을 수행한다. 또한, 풍부한 지도 정보를 활용하고 여러 관련 작업 간의 공동 학습(co-training)을 가능하게 하기 위해 랜드마크 예측 브랜치를 모델에 통합하였다. 실험 결과, DAD-3DNet은 (i) AFLW2000-3D 및 BIWI에서의 3D 헤드 자세 추정, (ii) NoW 및 Feng에서의 3D 얼굴 형태 재구성, (iii) DAD-3DHeads 데이터셋에서의 3D 밀집 헤드 정렬 및 3D 랜드마크 추정에서 최신 기술(SOTA) 모델과 비교해 우수하거나 유사한 성능을 보였다. 마지막으로, DAD-3DHeads가 다양한 카메라 각도, 얼굴 표정, 가림 현상을 포함하고 있어 자연 환경에서의 일반화 능력과 분포 이동(distribution shift)에 대한 강건성을 평가할 수 있는 벤치마크로 활용 가능하다. 데이터셋 웹페이지: https://p.farm/research/dad-3dheads