기반 모델을 활용한 3D 손 재구성: 자기지도 학습을 통한 접근

단일 시점 RGB 이미지로부터 3D 손을 재구성하는 것은 다양한 손의 구성을 비롯한 깊이 모호성으로 인해 도전적인 과제이다. 단안 이미지에서 신뢰할 수 있는 3D 손 재구성을 위해 대부분의 최신 기술들은 훈련 단계에서 3D 레이블 데이터에 크게 의존하지만, 3D 레이블을 확보하는 것은 매우 비용이 많이 든다. 레이블이 필요한 훈련 데이터에 대한 의존도를 줄이기 위해, 본 연구에서는 자가지도(self-supervised) 3D 손 재구성 네트워크인 S2HAND를 제안한다. 이 네트워크는 자세, 형태, 질감, 카메라 시점 등을 동시에 추정할 수 있다. 구체적으로, 입력 이미지로부터 쉽게 확보할 수 있는 2D 검출 키포인트를 통해 기하학적 정보를 추출한다. 이러한 노이즈가 포함된 기하학적 정보로부터 정확한 손 재구성 모델을 학습하기 위해, 2D와 3D 표현 간의 일관성을 활용하고 신경망 출력의 타당성을 높이기 위한 새로운 손실 함수들을 제안한다. 본 연구에서는 수동적인 레이블링에 의존하지 않고도 정확한 3D 손 재구성 네트워크를 훈련할 수 있음을 처음으로 입증한다. 실험 결과, 제안한 방법은 더 적은 감독 데이터를 사용하면서도 최근의 완전히 지도된 방법들과 비교해 유사한 성능을 달성함을 확인하였다.