H2ONet: 실시간 3D 손 메시 재구성 위한 손 가림 및 방향 인지 네트워크

실시간 3차원 손 메시 재구성은 특히 손에 물체를 잡고 있는 경우에 매우 도전적인 과제이다. 기존의 방법들을 넘어서, 우리는 다수의 프레임에서 비가려진 정보를 효과적으로 활용하여 재구성 품질을 향상시키기 위해 H2ONet를 설계하였다. 먼저, 손 메시 재구성을 두 가지 분기로 분리하여, 하나는 손가락 수준의 비가려진 정보를 활용하고, 다른 하나는 전반적인 손 방향성을 추출하도록 하였으며, 실시간 추론을 촉진하기 위해 경량 구조를 채택하였다. 둘째, 예측된 손가락 수준의 가려짐 정보를 가이드로 삼아 시간에 걸쳐 손가락 수준의 정보를 융합하는 손가락 수준의 가려짐 인지 특징 융합 기법을 제안하였다. 또한, 근접한 시간 프레임들로부터 비가려진 정보를 획득하기 위해 손 수준의 가려짐 인지 특징 융합 기법을 설계하였다. 우리는 도전적인 손-물체 가려짐 케이스가 포함된 Dex-YCB 및 HO3D-v2 데이터셋에서 실험을 수행하였으며, H2ONet가 실시간으로 작동 가능하며 손 메시 및 자세 정밀도에서 최신 기술 수준의 성능을 달성함을 입증하였다. 코드는 GitHub에 공개될 예정이다.