3달 전

카메라 좌표계에서의 3차원 인간 자세 추정을 위한 공감 기반 최적화

Diogo C Luvizon, Hedi Tabia, David Picard
카메라 좌표계에서의 3차원 인간 자세 추정을 위한 공감 기반 최적화
초록

3D 인간 자세 추정은 일반적으로 루트 신체 관절을 기준으로 한 3D 자세를 추정하는 작업으로 간주된다. 본 연구에서는 카메라 좌표계에서의 3D 인간 자세 추정 방법을 제안한다. 이 방법은 2D 라벨링 데이터와 3D 자세를 효과적으로 결합할 수 있으며, 다중 시점 일반화가 간단하게 이루어질 수 있도록 한다. 이를 위해 문제를 시점 프루스텀 공간 내 자세 추정으로 재정의하여 절대 깊이 예측과 관절 간 상대 깊이 추정을 분리한다. 최종적으로 역 카메라 투영을 통해 카메라 좌표계에서 3D 예측을 도출한다. 본 방법을 바탕으로, 교정되지 않은 이미지에서의 다중 시점 예측을 위한 공감 기반 최적화 알고리즘도 제안한다. 이 알고리즘은 단일 단안 학습 절차만을 필요로 한다. 비록 본 방법은 학습 시 사용된 카메라 내부 파라미터와 간접적으로 연결되어 있지만, 다양한 내부 파라미터를 가진 카메라에 대해서도 수렴하며, 스케일 인자까지는 일관된 추정 결과를 도출한다. 제안한 방법은 잘 알려진 3D 인간 자세 데이터셋에서 최신 기술을 개선하여, 가장 일반적인 벤치마크에서 예측 오차를 32% 감소시켰다. 또한 절대 자세 위치 오차 측면에서도 결과를 보고하였으며, 단안 추정 시 평균 80mm, 다중 시점 추정 시 평균 51mm의 정확도를 달성하였다.