세マン틱 집약과 적응형 2D-1D 등록을 통한 카메라 공간 핸드 메시 복원

최근 몇 년 동안 3D 손 메시 복원 분야에서 상당한 진전이 이루어졌다. 그럼에도 불구하고, 2D에서 3D로의 내재적 모호성 때문에 단일 RGB 이미지로부터 카메라 공간 내 3D 정보를 복원하는 것은 여전히 도전적인 과제이다. 이러한 문제를 해결하기 위해 우리는 카메라 공간 내 메시 복원을 두 가지 하위 과제로 나누었다. 즉, 루트 기준 메시 복원(root-relative mesh recovery)과 루트 위치 복원(root recovery)이다. 먼저, 단일 입력 이미지로부터 관절 랜드마크와 실루엣(silhouette)을 추출하여 3D 복원 작업에 필요한 2D 정보를 제공한다. 루트 기준 메시 복원 과제에서는 관절 간의 의미적 관계(semantic relations)를 활용하여 추출된 2D 정보로부터 3D 메시를 생성한다. 이 과정에서 생성된 3D 메시의 좌표는 손의 손목(루트 위치)을 기준으로 표현된다. 이후 루트 복원 과제에서는 생성된 3D 메시를 다시 2D 정보와 정렬함으로써 루트 위치를 카메라 공간에 등록함으로써 카메라 공간 내 3D 메시 복원을 완성한다. 본 연구의 프로세스는 (1) 관절 간의 알려진 의미적 관계를 명시적으로 활용하고, (2) 실루엣과 메시의 1차원 투영(projection) 정보를 활용하여 안정적인 정렬(registration)을 달성한다는 점에서 기존의 접근과 차별화된다. FreiHAND, RHD, Human3.6M와 같은 주요 데이터셋에서 실시한 광범위한 실험 결과, 본 방법은 루트 기준 메시 복원 및 루트 복원 모두에서 최신 기술 수준(SOTA)의 성능을 달성함을 입증하였다. 본 연구의 코드는 공개되어 있으며, https://github.com/SeanChenxy/HandMesh 에서 확인할 수 있다.