W-HMR: 약한 감독 하에서 세계 공간에서의 단일 카메라 인간 메시 복원

단일 이미지에서 3차원 인간 운동을 복원하는 이전 방법들은 카메라 좌표에 의존함으로써 실제 응용에서 정확도가 부족한 경우가 많았습니다. 초점 거리 라벨의 제한된 가용성과 다양성은 재구성된 3차원 인간 몸체의 미스얼라이먼트 문제를 더욱 악화시켰습니다. 이러한 도전 과제를 해결하기 위해 우리는 W-HMR(Weak-supervised Human Motion Recovery)라는 약간 지도된 캘리브레이션 방법을 소개합니다. 이 방법은 신체 왜곡 정보를 기반으로 "합리적"인 초점 거리를 예측하여 정밀한 초점 거리 라벨이 필요 없도록 합니다. 우리의 접근 방식은 2차원 감독의 정밀도와 복원 정확도를 향상시키는 역할을 합니다. 또한, 우리는 OrientCorrect 모듈을 제시하는데, 이 모듈은 세계 공간에서 가능한 신체 방향을 교정하여 카메라 회전 예측의 부정확성으로 인한 오류 누적을 피합니다. 우리의 기여는 새로운 약간 지도된 카메라 캘리브레이션 기술, 효과적인 방향 교정 모듈, 그리고 카메라 좌표와 세계 좌표에서 인간 운동 복원의 일반화 능력과 정확도를 크게 향상시키는 분리 전략을 포함합니다. W-HMR의 강건성은 다양한 데이터셋에 대한 광범위한 실험을 통해 검증되었으며, 기존 방법들보다 우수함이 입증되었습니다. 코드와 데모는 프로젝트 페이지 https://yw0208.github.io/w-hmr/ 에서 제공됩니다.