PC-HMR: 2D 이미지/비디오로부터 3D 인간 메시 복원을 위한 포즈 캘리브레이션

종단 간 인간 메시 복원(HMR: Human Mesh Recovery) 기법은 3차원 신체 재구성에 성공적으로 활용되어 왔다. 그러나 대부분의 HMR 기반 프레임워크는 이미지나 영상에서 메시 매개변수를 직접 학습함으로써 인간 신체를 재구성하지만, 시각 데이터 내에 3차원 인간 자세에 대한 명시적인 지침이 부족하다는 한계를 가지고 있다. 그 결과, 복잡한 동작에 대해 생성된 메시는 자주 부정확한 자세를 나타내게 된다. 이 문제를 해결하기 위해 우리는 3차원 자세 정보를 활용하여 인간 메시를 보정하는 방안을 제안한다. 구체적으로, 직렬형 PC-HMR와 병렬형 PC-HMR라는 두 가지 새로운 자세 보정 프레임워크를 개발하였다. 이러한 두 프레임워크는 고성능 3차원 자세 추정기와 HMR을 직렬 또는 병렬로 결합함으로써, 간결한 자세 보정 모듈을 통해 인간 메시를 효과적으로 보정할 수 있다. 더불어, 보정 모듈이 비탄성 자세 변환 기반으로 설계되어 있어, 뼈 길이의 변화에 유연하게 대응할 수 있으며, 보정된 메시에서 발생할 수 있는 위치 오류를 완화할 수 있다. 마지막으로, 본 프레임워크는 데이터 기반 학습과 기하학적 모델링의 일반적이고 상호 보완적인 통합에 기반하고 있으며, 플러그 앤 플레이 모듈 구조를 통해 이미지/영상 기반 인간 메시 복원에 효율적으로 적용 가능하다. 또한, 테스트 단계에서 추가적인 3차원 자세 레이블이 필요 없어 실제 적용 시 추론의 어려움을 해소할 수 있다. 주요 벤치마크인 Human3.6M, 3DPW, SURREAL에서 광범위한 실험을 수행한 결과, 본 PC-HMR 프레임워크는 최신 기술(SOTA) 수준의 성능을 달성하였다.