단일 RGB 이미지로부터 3D 손 재구성에 대한 확률적 어텐션 모델과 차폐 인지 텍스처 회귀

최근 들어, 단일 RGB 이미지로부터 3차원(3D) 손 재구성에 대한 딥러닝 기반 접근법이 유망한 성과를 보이고 있다. 이러한 접근법은 모델 기반 접근법과 모델 자유형 접근법으로 대략 나눌 수 있다. 모델 기반 접근법은 모델의 파라미터 공간에 크게 의존하는 반면, 모델 자유형 접근법은 깊이 모호성을 줄이기 위해 방대한 3D 지도 데이터를 필요로 하며, 약한 지도 학습 환경에서는 성능이 저하되는 문제가 있다. 이러한 문제를 극복하기 위해, 모델 기반 접근법의 강건성과 모델 자유형 접근법의 모델 파라미터 공간에 대한 의존도 감소를 동시에 달성할 수 있는 새로운 확률적 모델을 제안한다. 제안된 확률적 모델은 관절과 메시 정점의 사전 확률 분포를 추정하기 위해 모델 기반 네트워크를 사전 네트워크(prior-net)로 통합한다. 또한, 정점 간의 상관관계 및 관절과 메시 정점 간의 연관성을 포착하여 특징 표현을 향상시키기 위해 주의 기반 메시 정점 불확실성 회귀(Attention-based Mesh Vertices Uncertainty Regression, AMVUR) 모델을 제안한다. 더불어, 고해상도 텍스처 재구성을 달성하기 위해 학습 기반의 음영 인식 손 텍스처 회귀 모델을 제안한다. 제안된 확률적 모델이 감독 학습 및 약한 지도 학습 환경 모두에서 유연하게 학습될 수 있음을 입증하였다. 실험 결과, 제안된 모델은 감독 및 약한 지도 학습 모두에서 단일 이미지로부터 3D 손과 텍스처 재구성에서 최신 기술 수준의 정확도를 달성하였으며, 심한 가림 현상이 존재하는 경우에도 뛰어난 성능을 보였다.