I2UV-HandNet: 정확하고 고해상도 3D 손 메시 모델링을 위한 이미지에서 UV 예측 네트워크

색상 이미지에서 고정밀도 및 고현실감을 갖춘 3차원(3D) 손 구조를 재구성하는 것은 인간-컴퓨터 상호작용 및 가상현실(VR) 응용 분야에서 현실감 있는 가상 손을 복제하는 데 핵심적인 역할을 한다. 그러나 다양한 손 자세와 심각한 가림 현상으로 인해 기존 방법들은 정확도와 현실감 측면에서 한계를 보이고 있다. 본 연구에서는 정확한 손 자세 및 형상 추정과 함께 3D 손의 초해상도 재구성을 가능하게 하는 I2UV-HandNet 모델을 제안한다. 구체적으로, 본 연구는 처음으로 UV 기반 3D 손 형상 표현 방식을 제안한다. RGB 이미지로부터 3D 손 메시를 복원하기 위해, 이미지-이미지 변환 방식으로 입력 이미지에서 UV 위치 맵을 예측하는 AffineNet을 설계하였다. 더 높은 현실감을 갖춘 형상을 얻기 위해, AffineNet이 출력한 저해상도 UV 맵을 고해상도로 변환하는 추가적인 SRNet을 활용하였다. 본 연구에서는 UV 기반 손 형상 표현 방식의 특성화 능력을 처음으로 입증하였다. 실험 결과, 제안된 방법이 여러 도전적인 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성함을 확인하였다.