깊이 기반 3D 손 포즈 추정: 현재 성과에서 미래 목표까지

본 논문에서는 두 가지 질문에 답하고자 합니다: 깊이 이미지에서 3차원 손 포즈 추정의 현재 상태는 어떠한가? 그리고, 앞으로 해결해야 할 과제는 무엇인가? Hands In the Million Challenge (HIM2017) 이후, 우리는 세 가지 작업에 대해 최상위 10개의 최신 방법을 조사하였습니다: 단일 프레임 3D 포즈 추정, 3D 손 추적, 그리고 객체 상호작용 중의 손 포즈 추정. 우리는 손 모양, 관절 가시성, 시점 및 관절 구조 분포에 대한 다양한 CNN 구조의 성능을 분석하였습니다. 본 연구의 주요 결과는 다음과 같습니다: (1) [70, 120]도 범위 내에서는 고립된 3D 손 포즈 추정이 낮은 평균 오류(10 mm)를 달성하였지만, 극단적인 시점에서는 아직 해결되지 않았습니다; (2) 3D 볼륨 표현이 2D CNN보다 우수한 성능을 보였으며, 깊이 데이터의 공간 구조를 더 잘 포착하였습니다; (3) 판별적 방법들은 여전히 미처 본 적 없는 손 모양에 대해 일반화하는 데 어려움을 겪고 있습니다; (4) 대부분의 방법들이 관절 가림 현상으로 인해 도전과제를 맞이하고 있지만, 구조적 제약 조건을 명시적으로 모델링하면 가림되지 않은 관절과 가린 관절 간의 오류 차이를 크게 줄일 수 있었습니다.