단순하게 유지하기: 단일 이미지에서 3D 인간 자세와 형태의 자동 추정

우리는 단일 제약 없는 이미지에서 인간의 3D 자세와 3D 형태를 자동으로 추정하는 첫 번째 방법을 설명합니다. 우리는 완전한 3D 메시를 추정하고, 2D 관절만으로도 신체 형태에 대한 놀라운 양의 정보가 포함되어 있음을 보여줍니다. 이 문제는 인간 신체의 복잡성, 관절 운동, 가림 현상, 의상, 조명 및 2D에서 3D를 추론하는 고유한 모호성 때문에 도전적입니다. 이를 해결하기 위해 먼저 최근에 발표된 CNN 기반 방법인 DeepCut을 사용하여 (하향식) 2D 신체 관절 위치를 예측합니다. 그런 다음 2D 관절에 최근에 발표된 통계적인 신체 형태 모델인 SMPL을 맞춥니다 (상향식). 우리는 투영된 3D 모델 관절과 감지된 2D 관절 사이의 오차를 벌점으로 부과하는 목적 함수를 최소화하여 이를 수행합니다. SMPL은 인구 전체에서의 인간 형태 간 상관관계를 포착하기 때문에 매우 적은 데이터로도 견고하게 맞출 수 있습니다. 또한 우리는 3D 모델을 활용하여 서로 겹치는 해법을 방지합니다. 우리는 Leeds Sports, HumanEva, 그리고 Human3.6M 데이터셋에서 우리의 방법인 SMPLify를 평가하여 최신 기술 대비 우수한 자세 정확도를 보여주었습니다.