SMPLer-X: 표현력 있는 인간 자세 및 형태 추정의 확장

표현력 있는 인간 자세 및 형태 추정(EHPS)은 몸, 손, 얼굴의 운동 캡처를 하나로 통합하여 다양한 응용 분야에서 활용됩니다. 현재까지 성공적인 진전이 이루어졌음에도 불구하고, 최신 방법론들은 여전히 제한된 훈련 데이터셋에 크게 의존하고 있습니다. 본 연구에서는 EHPS를 확장하여 처음으로 일반적인 기초 모델(SMPLer-X)을 개발하였으며, 최대 ViT-Huge를 백본으로 사용하고 다양한 데이터 소스에서 최대 450만 개의 인스턴스로 훈련시켰습니다. 대규모 데이터와 큰 모델 덕분에 SMPLer-X는 다양한 테스트 벤치마크에서 우수한 성능을 보여주며, 미처 경험하지 못한 환경에서도 뛰어난 전이 능력을 발휘합니다.1) 데이터 스케일링에 대해, 우리는 32개의 EHPS 데이터셋을 체계적으로 조사하였습니다. 이는 단일 데이터셋으로 훈련된 모델이 처리할 수 없는 다양한 시나리오를 포함합니다. 더욱 중요한 점은, 광범위한 벤치마킹 과정에서 얻은 통찰력을 바탕으로 훈련 방식을 최적화하고 EHPS 능력에 큰 도약을 가져오는 데이터셋을 선택하였습니다.2) 모델 스케일링에 대해, 우리는 비전 트랜스포머를 활용하여 EHPS에서의 모델 크기 스케일링 법칙을 연구하였습니다. 또한 우리의 미세 조정(finetuning) 전략은 SMPLer-X를 전문가 모델로 변환하여 추가적인 성능 향상을 가능하게 하였습니다. 특히, 기초 모델인 SMPLer-X는 AGORA(107.2 mm NMVE), UBody(57.4 mm PVE), EgoBody(63.6 mm PVE), EHF(미세 조정 없이 62.3 mm PVE) 등 7개의 벤치마크에서 일관되게 최고 수준의 결과를 제공하였습니다.홈페이지: https://caizhongang.github.io/projects/SMPLer-X/