표현력 있는 몸체의 조정을 이용한 협업 회귀

이미지에서 표현력 있는 인간을 복원하는 것은 인간 행동을 이해하는 데 필수적입니다. 3D 몸체, 얼굴 또는 손을 추정하는 방법들은 크게 발전했지만, 각각 독립적으로 진행되었습니다. 얼굴 추정 방법은 정확한 3D 형태와 기하학적 세부 정보를 복원할 수 있지만, 근접 촬영과 극단적인 시점, 저해상도에 약점을 보입니다. 전체 몸체 추정 방법은 다양한 자세와 해상도에 견고하지만, 주름 등의 세부 정보가 없는 대략적인 3D 얼굴 형태만 제공합니다. 두 세계의 장점을 모두 얻기 위해, 우리는 PIXIE를 소개합니다. PIXIE는 단일 이미지로부터 실제적인 얼굴 세부 정보를 가진 애니메이션 가능한 전체 몸체 3D 아바타를 생성합니다.이를 위해 PIXIE는 두 가지 핵심 관찰 결과를 활용합니다. 첫째, 기존 연구에서는 몸체, 얼굴 및 손 전문가들의 독립적인 추정치들을 동등하게 신뢰하여 결합하였습니다. PIXIE는 이러한 전문가들의 특징을 자신감 수준에 따라 가중 평균하여 통합하는 새로운 중재자를 도입합니다. 모든 부분 전문가는 SMPL-X의 모든 신체 부위에 걸친 공유된 형태 공간을 통해 전체에 기여할 수 있습니다. 둘째, 인간의 형태는 성별과 강하게 상관관계가 있지만, 기존 연구에서는 이를 무시하였습니다. 우리는 훈련 이미지를 남성, 여성 또는 비 nhị원성으로 표시하고, 새로운 형태 손실 함수를 사용하여 PIXIE가 "성별화된" 3D 신체 형태를 추론하도록 훈련하였습니다.PIXIE는 3D 신체 자세와 형태 매개변수뿐만 아니라 표정, 조명, 알베도 및 3D 얼굴 표면 변위도 추정합니다. 정량적 및 정성적 평가는 PIXIE가 최신 기술보다 더 정확한 전체 신체 형태와 상세한 얼굴 형태를 추정함을 보여줍니다. 모델과 코드는 https://pixie.is.tue.mpg.de에서 확인할 수 있습니다.