Hand PointNet: 포인트 세트를 이용한 3차원 손 자세 추정

3차원(3D) 손 자세 추정을 위한 깊이 이미지에서 합성곱 신경망(Convolutional Neural Network, CNN)은 유망한 성과를 보여주고 있다. 기존의 CNN 기반 손 자세 추정 방법은 2차원(2D) 이미지 또는 3차원(3D) 볼륨을 입력으로 사용하는 반면, 본 연구에서 제안하는 Hand PointNet은 손의 가시 표면을 모델링하는 3D 포인트 클라우드를 직접 처리하여 자세 회귀를 수행한다. 정규화된 포인트 클라우드를 입력으로 하여, 제안하는 손 자세 회귀 네트워크는 복잡한 손 구조를 효과적으로 포착하고, 3D 손 자세의 저차원 표현을 정확하게 회귀할 수 있다. 특히 손가락 끝의 정확도를 further 향상시키기 위해, 추정된 손가락 끝 위치 주변의 근접 포인트를 직접 입력으로 받아 손가락 끝 위치를 보정하는 손가락 끝 정밀화 네트워크를 설계하였다. 세 가지 도전적인 손 자세 데이터셋에서 수행한 실험 결과, 제안하는 방법이 최신 기술 대비 우수한 성능을 보였다.