초록
전신 3D 인체 메시 추정은 3D 인체 본체, 손, 얼굴을 동시에 재구성하는 것을 목표로 한다. 여러 방법이 제안되었지만, 3D 손(손목과 손가락으로 구성)의 정확한 예측은 여전히 도전 과제로 남아 있다. 그 이유는 두 가지이다. 첫째, 기존 방법들은 3D 손목 예측 시 인간 운동학적 체인(kinematic chain)을 충분히 고려하지 못했다. 둘째, 기존 연구들은 3D 손가락 예측에 인체 특징을 활용하지만, 인체 특징에는 손가락 정보가 거의 포함되어 있지 않다. 이러한 한계를 해결하기 위해 우리는 기존 방법보다 두 가지 강점이 있는 Hand4Whole을 제안한다. 첫째, 관절 특징을 활용하여 3D 관절 회전을 예측하는 Pose2Pose 모듈을 설계하였다. Pose2Pose를 통해 Hand4Whole은 손의 손등관절(MCP joint) 특징을 활용하여 3D 손목을 예측하는데, 이는 인간 운동학적 체인에서 MCP 관절이 3D 손목 회전에 크게 기여하기 때문이다. 둘째, Hand4Whole은 3D 손가락 회전 예측 시 인체 특징을 사용하지 않는다. 제안하는 Hand4Whole은 엔드 투 엔드(end-to-end) 방식으로 훈련되며, 기존의 전신 3D 인체 메시 추정 방법보다 훨씬 우수한 3D 손 결과를 도출한다. 코드는 다음 링크에서 확인할 수 있다. https://github.com/mks0601/Hand4Whole_RELEASE