사람을 하나로 모으다: 3D와 2D 인간 표현 간의 루프 닫기

3D 모델은 인간의 몸을 다양한 방식으로 표현하는 공통 기반을 제공합니다. 이에 따라, 강건한 2D 추정이 "야외" 환경에서 3D 피팅을 얻는 데 있어 강력한 도구로 입증되었습니다. 그러나 세부 수준에 따라 대규모로 2D 추정기용 라벨링된 데이터를 획득하는 것은 매우 어려울 수 있습니다. 우리는 이 문제에 대한 하이브리드 접근법을 제안합니다: 최근 소개된 SMPLify 방법의 확장 버전을 사용하여 여러 인간 자세 데이터셋에 대해 고품질의 3D 신체 모델 피팅을 얻습니다. 인간 주석자는 단지 좋은 피팅과 나쁜 피팅을 분류하는 역할만 합니다. 이 절차를 통해 풍부한 주석이 포함된 초기 데이터셋인 UP-3D를 생성하게 됩니다. 포괄적인 실험 세트를 통해 이 데이터가 어떻게 차별화된 모델을 훈련시키는지 보여주며, 이러한 모델은 전례 없는 세부 수준의 결과를 생성합니다: 우리의 모델은 신체의 31개 부위와 91개 랜드마크 위치를 예측합니다. 91개 랜드마크 자세 추정기를 사용하여, 성별이나 자세에 대한 가정 없이 훈련 데이터량을 한 자릿수 차원으로 줄인 상태에서 3D 인간 자세 및 형태 추정에 있어 최신 연구 결과를 제시합니다. 또한 UP-3D가 이러한 개선된 피팅으로 양적 및 질적으로 발전할 수 있음을 보여주며, 이를 통해 시스템이 대규모로 활용될 수 있음을 확인하였습니다. 해당 데이터, 코드 및 모델은 연구 목적으로 제공됩니다.