초록
우리는 단일 눈(RGB) 입력 이미지를 통해 양손의 전역 3D 관절 위치를 추정하는 어려운 과제에 도전합니다. 우리는 두 손 간의 가림 현상과 복잡한 배경 노이즈에도 불구하고 정확하게 손을 분할하고 위치를 파악하며, 깊이 정보 없이 2D 및 3D 표준 관절 위치를 추정할 수 있는 새로운 다단계 합성신경망 기반 파이프라인을 제안합니다. 손 자세 추정값과 주요 뼈의 실제 길이를 사용하여 카메라 원점에 대한 전역 관절 위치를 새로운 투영 알고리즘으로 계산합니다. 이 새로운 과제를 위한 CNNs의 학습을 위해 대규모 합성 3D 손 자세 데이터셋을 소개합니다. RGB 정보만을 사용한 3D 표준 손 자세 추정 벤치마크 데이터셋에서 우리의 시스템이 이전 연구보다 우수한 성능을 보임을 입증하였습니다. 또한, RGB 입력만으로 양손의 정확한 전역 3D 손 추적을 달성한 최초의 연구를 제시하며, 광범위한 정량적 및 정성적 평가 결과를 제공합니다.