A2J: 단일 깊이 이미지에서 3D 관절 포즈 추정을 위한 앵커-관절 회귀 네트워크

깊이 이미지에서 3D 손과 몸의 자세 추정 작업을 위해, 앵커 기반 접근법으로서 앵커-투-조인트 회귀 네트워크(Anchor-to-Joint regression network, A2J)가 제안되었습니다. A2J는 앵커 포인트를 깊이 이미지에 밀집하여 설정하여, 관절의 로컬 회귀기로 작동하며 전역-국소 공간 컨텍스트 정보를 포착할 수 있습니다. 이러한 앵커 포인트들은 관절 위치를 앙상블 방식으로 예측하여 일반화 능력을 향상시키는 데 기여합니다. 제안된 3D 아티큘레이티드 자세 추정 패러다임은 최신의 인코더-디코더 기반 FCN, 3D CNN 및 포인트 세트 기반 방법들과 다릅니다. 특정 관절에 대한 유용한 앵커 포인트를 찾기 위해 A2J에 대한 앵커 제안 절차도 제안되었습니다. 또한 시간이 많이 소요되는 3D 컨볼루션 또는 디컨볼루션 계층을 사용하지 않고, ResNet-50과 같은 2D CNN을 백본 네트워크로 사용하여 A2J를 구동시킵니다. 3개의 손 데이터셋과 2개의 몸 데이터셋에서 수행된 실험은 A2J의 우수성을 확인해주며, 단일 NVIDIA 1080Ti GPU에서 A2J는 약 100 FPS의 높은 실행 속도를 보입니다.