FreiHAND: 단일 RGB 이미지에서 손 자세와 형상을 마커리스로 캡처하기 위한 데이터셋

단일 RGB 이미지로부터 3D 손 자세를 추정하는 것은 편향 없는 학습 데이터셋에 크게 의존하는 매우 모호한 문제이다. 본 논문에서는 기존 데이터셋에서 학습할 때의 교차 데이터셋 일반화를 분석한다. 그 결과, 기존의 접근법들은 자신이 학습된 데이터셋에서는 우수한 성능을 보이지만, 다른 데이터셋이나 실제 환경(인-더-와일드) 상황에서는 일반화되지 못함을 확인하였다. 이러한 문제를 해결하기 위해, 본 연구는 3D 손 자세와 손 형태(annotation) 정보를 모두 포함한 최초의 대규모 다중 시점 손 데이터셋을 제안한다. 이 실제 세계 데이터셋의 레이블링을 위해, 손 피팅 최적화를 포함하는 반자동적 ‘인-더-루프(인-더-루프)’ 반복적 접근법을 제안한다. 이 방법을 통해 각 샘플에 대해 3D 자세와 형태를 동시에 추정할 수 있다. 제안하는 데이터셋으로 학습된 모델은 다른 데이터셋에서 테스트할 때도 일관되게 우수한 성능을 보임을 보여준다. 더불어, 본 데이터셋을 이용해 단일 RGB 이미지에서 전개된 손 형태(full articulated hand shape)를 예측하는 네트워크를 학습할 수 있다. 평가 세트는 전개된 손 형태 추정에 대한 벤치마크로 활용될 수 있다.