SHPR-Net: 포인트 클라우드로부터의 딥 세미틱 손 자세 회귀

3D 손 자세 추정은 인간-컴퓨터 상호작용에서 핵심적인 문제이다. 기존의 깊이 기반 손 자세 추정 방법들은 주로 2D 깊이 맵 또는 3D 볼륨을 2D/3D 컨볼루셔널 신경망(CNN)을 통해 처리한다. 본 논문에서는 점 집합(point set)에서 손 자세를 추정하기 위한 깊이 있는 의미론적 손 자세 회귀 네트워크(SHPR-Net)를 제안한다. SHPR-Net은 두 개의 하위 네트워크로 구성되며, 의미론적 세그멘테이션 하위 네트워크와 손 자세 회귀 하위 네트워크이다. 의미론적 세그멘테이션 네트워크는 점 집합 내 각 점에 의미론적 레이블을 할당한다. 자세 회귀 네트워크는 입력과 후속(fusion) 전략을 통해 의미론적 사전 지식을 통합하여 최종 손 자세를 회귀한다. 두 개의 변환 행렬은 점 집합으로부터 학습되며, 입력 점 클라우드에 대해 변환하고 출력 자세에 대해 역변환을 적용함으로써 SHPR-Net이 기하학적 변환에 대해 더욱 강건함을 확보한다. NYU, ICVL, MSRA 손 자세 데이터셋에서의 실험 결과, 제안하는 SHPR-Net은 최신 기술 수준의 방법들과 경쟁 가능한 높은 성능을 달성함을 입증하였다. 또한 본 방법이 다중 뷰 깊이 데이터로부터의 손 자세 추정으로 자연스럽게 확장 가능하며, NYU 데이터셋에서 더욱 향상된 성능을 보임을 보여주었다.