초록
우리는 단일 깊이 프레임에서 3D 손 포즈 추정을 위한 간단하면서도 효과적인 방법을 제시합니다. 기존의 통합 3D 회귀 기반 최신 방법과 달리, 우리의 방법은 밀집된 픽셀별 추정에 초점을 맞춥니다. 이는 깊이 맵의 2D 및 3D 특성을 모두 활용하는 포즈 매개변수화의 신중한 설계 선택을 통해 이루어집니다. 구체적으로, 우리는 포즈 매개변수를 픽셀별 추정으로 분해하여, 즉 2D 히트맵, 3D 히트맵 및 단위 3D 방향 벡터 필드로 구성됩니다. 2D/3D 관절 히트맵과 3D 관절 오프셋은 다중 작업 네트워크 캐스케이드를 통해 추정되며, 이는 엔드투엔드(end-to-end)로 학습됩니다. 픽셀별 추정은 직접 투표 캐스팅 방식으로 변환될 수 있습니다. 그런 다음 평균 시프트(mean shift)의 변형이 사용되어 로컬 투표를 집계하면서, 설계상 추정된 3D 포즈와 픽셀별 2D 및 3D 추정 사이의 일치성을 강제합니다. 우리의 방법은 효율적이면서 매우 정확합니다. MSRA와 NYU 손 데이터셋에서 우리의 방법은 모든 기존 최신 접근법보다 크게 우월한 성능을 보입니다. ICVL 손 데이터셋에서는 현재 제안된 거의 포화 상태(fully saturated) 결과와 유사한 정확도를 달성하며, 다양한 다른 제안된 방법들보다 우수한 성능을 보입니다. 코드는 온라인에서 제공됩니다($\href{"https://github.com/melonwan/denseReg"}{\text{online}}$).