초록
체적 3D 자세 추정의 성공을 영감으로 삼아, 최근 일부 인간 메시 추정 방법들은 3D 뼈대(스켈레톤)를 중간 표현으로 제안하며, 메시의 위상 구조를 활용해 밀도 높은 3D 메시를 회귀한다. 그러나 뼈대를 추출하는 과정에서 신체 형태 정보가 손실되면서 성능이 평균 수준에 머무르는 문제가 발생한다. 고급 모션 캡처 시스템은 신체 표면에 밀집된 물리적 마커를 부착함으로써 비정형 운동에서 현실적인 메시를 추출함으로써 이 문제를 해결한다. 그러나 이러한 방법은 마커가 없는 와일드 이미지(자연 이미지)에는 적용할 수 없다. 본 연구에서는 대규모 모션 캡처 데이터를 기반으로 생성형 방식으로 신체 표면 상에 64개의 지점 키포인트를 학습하는 중간 표현인 '가상 마커(Virtual Markers)'를 제안한다. 이는 물리적 마커의 효과를 모방하는 것으로, 와일드 이미지에서도 정확히 탐지 가능하며, 단순한 보간을 통해 현실적인 형태를 갖춘 완전한 메시를 재구성할 수 있다. 제안한 방법은 세 가지 데이터셋에서 최신 기법들을 능가하며, 특히 다양한 신체 형태를 포함하는 SURREAL 데이터셋에서 기존 방법보다 뚜렷한 성능 우위를 보였다. 코드는 https://github.com/ShirleyMaxx/VirtualMarker 에서 공개되어 있다.