HybrIK-X: 하이브리드 분석-신경 역運動학을 이용한 전신 메시 복원

시각적 콘텐츠에서 추상적인 자세와 형태 매개변수를 추론하여 전체 몸체 메시를 복원하면 실제 구조를 가진 3D 몸체를 얻을 수 있습니다. 그러나 이 추론 과정은 매우 비선형적이며 이미지-메시 미스어레인먼트(image-mesh misalignment)로 인해 부정확한 재구성이 이루어질 수 있습니다. 반면에, 3D 키포인트 추정 방법은 체적 표현(volumetric representation)을 활용하여 픽셀 단위 정확도를 달성할 수 있지만, 비현실적인 몸체 구조를 예측할 수도 있습니다. 이러한 문제들을 해결하기 위해, 본 논문에서는 3D 키포인트 추정과 몸체 메시 복원의 장점을 통합한 새로운 하이브리드 역학적 해법(Hybrid Inverse Kinematics, HybrIK)을 제안합니다.HybrIK는 트위스트-스윙 분해(twist-and-swing decomposition)를 통해 정확한 3D 관절을 직접적으로 몸부분 회전으로 변환합니다. 스윙 회전은 3D 관절을 이용하여 해석적으로 해결되며, 트위스트 회전은 신경망을 통해 시각적 힌트에서 도출됩니다. 전반적인 전체 몸체 세부 정보를 포착하기 위해, 우리는 더욱 포괄적인 프레임워크인 HybrIK-X를 개발하였습니다. HybrIK-X는 아티큘레이티드 핸즈(articulated hands)와 표현력 있는 얼굴을 포함하여 HybrIK를 강화하며, 단일 단계 모델(one-stage model)로 전체 자세를 해결함으로써 빠르고 정확합니다. 실험 결과, HybrIK와 HybrIK-X는 3D 관절의 정확성과 매개변수 인간 모델(parametric human model)의 실제 구조 모두를 유지하여 픽셀 정렬된 전체 몸체 메시 복원을 실현하였습니다. 제안된 방법은 다양한 벤치마크에서 단독 몸체(body-only), 단독 손(hand-only), 그리고 전체 몸체(whole-body) 시나리오 모두에서 기존 최신 방법들을 크게 능가하는 것으로 나타났습니다. 코드와 결과는 https://jeffli.site/HybrIK-X/ 에서 확인할 수 있습니다.