표현력 있는 몸체 캡처: 단일 이미지에서 3D 손, 얼굴, 및 몸체

인간의 행동, 상호작용 및 감정 분석을 용이하게 하기 위해, 우리는 단일 모노클라 이미지에서 인간의 자세, 손의 자세 및 얼굴 표현의 3D 모델을 계산합니다. 이를 달성하기 위해, 수천 개의 3D 스캔 데이터를 사용하여 완전히 구동 가능한 손과 표현력 있는 얼굴을 포함하는 새로운 통합된 인간 3D 모델인 SMPL-X를 훈련시킵니다. 이미지와 3D 지면 진실(Ground Truth)이 짝을 이루지 않은 경우, SMPL-X의 매개변수를 직접 이미지에서 회귀하는 것은 도전적입니다. 따라서, 우리는 SMPLify 접근법을 따르며, 이는 2D 특징을 추정한 후 모델 매개변수를 해당 특징에 맞게 최적화하는 방법입니다. 우리는 SMPLify를 몇 가지 중요한 측면에서 개선했습니다: (1) 얼굴, 손 및 발에 해당하는 2D 특징을 감지하고 전체 SMPL-X 모델을 이들에 맞게 피팅합니다; (2) 대규모 MoCap 데이터셋을 사용하여 새로운 신경망 포즈 사전(Neural Network Pose Prior)을 훈련시킵니다; (3) 빠르고 정확한 새로운 교차침입 패널티(Interpenetration Penalty)를 정의합니다; (4) 성별을 자동으로 감지하고 적절한 신체 모델(남성, 여성 또는 중립)을 선택합니다; (5) 우리의 PyTorch 구현은 Chumpy보다 8배 이상 빠릅니다. 우리는 새로운 방법인 SMPLify-X를 사용하여 제어된 이미지와 자연 환경에서 촬영된 이미지 모두에 SMPL-X를 피팅합니다. 우리는 100장의 가상 지면 진실(Pseudo Ground-Truth)이 포함된 새로운 큐레이션 데이터셋에서 3D 정확도를 평가하였습니다. 이는 단일 RGB 데이터로부터 자동으로 표현력을 갖춘 인간 캡처(Automatic Expressive Human Capture)를 수행하기 위한 한 걸음입니다. 모델, 코드 및 데이터는 연구 목적으로 https://smpl-x.is.tue.mpg.de 에서 제공됩니다.