gSDF: 기하학적 거리 함수를 활용한 3D 손-물체 재구성

서명 거리 함수(Signed Distance Functions, SDFs)는 최근 이미지에서 3D 형태를 재구성하는 데 유망한 결과를 보여준 매력적인 프레임워크입니다. SDFs는 다양한 형태 해상도와 위상에 원활하게 일반화할 수 있지만, 기저 3D 기하학을 명시적으로 모델링하지 못하는 단점이 있습니다. 본 연구에서는 손의 구조를 활용하여 SDF 기반 형태 재구성을 위한 안내 역할을 하는 방법을 제안합니다. 특히, 단일 카메라 RGB 이미지에서 손과 조작된 물체의 재구성을 다루고자 합니다. 이를 위해, 손과 물체의 자세를 추정하고 이를 이용하여 3D 재구성을 안내합니다. 더욱 구체적으로, 자세 변환의 운동학적 체인(kinematic chains)을 예측하고, 복잡한 관절 구조(highly-articulated)를 가진 손의 자세와 SDFs를 맞춥니다. 우리는 기하학적 맞춤으로 3D 점들의 시각적 특징을 개선하고, 시간 정보를 활용하여 가림(occlusion)과 움직임 블러(motion blurs)에 대한 강건성을 향상시킵니다. 본 연구에서는 어려운 ObMan 및 DexYCB 벤치마크에서 광범위한 실험을 수행하였으며, 제안된 방법이 최신 연구보다 상당히 우수한 성능 향상을 보임을 입증하였습니다.