AlignSDF: 손-물체 재구성용 포즈 정렬된 부호 거리 필드

최근 연구에서는 단일 색상 이미지에서 손과 조작된 물체의 공동 재구성을 위한 놀라운 진전을 이룩하였습니다. 기존 방법들은 주로 매개변수 메시(parametric meshes) 또는 부호 거리 필드(Signed Distance Fields, SDFs) 중 하나를 사용하여 표현하는 두 가지 대안에 초점을 맞추고 있습니다. 한편으로는, 매개변수 모델은 사전 지식을 활용할 수 있지만, 형태 변형과 메시 해상도가 제한적이라는 단점이 있습니다. 따라서 메시 모델은 손과 물체의 접촉 표면 같은 세부 정보를 정확히 재구성하지 못할 수 있습니다. 다른 한편으로는, SDF 기반 방법은 임의의 세부 정보를 표현할 수 있지만, 명시적인 사전 지식이 부족합니다. 본 연구에서는 매개변수 표현이 제공하는 사전 지식을 활용하여 SDF 모델을 개선하고자 합니다. 특히, 포즈와 형태를 분리하는 공동 학습 프레임워크를 제안합니다. 우리는 매개변수 모델로부터 손과 물체의 포즈를 얻어 이를 3D 공간에서 SDFs를 정렬하는 데 사용합니다. 이러한 정렬된 SDFs는 형태 세부 정보의 재구성에 더 집중하며, 손과 물체 모두에 대한 재구성 정확도를 향상시키는 것으로 보여졌습니다. 우리는 우리의 방법을 평가하였으며, 어려운 ObMan 및 DexYCB 벤치마크에서 기존 최신 기술보다 크게 개선되는 결과를 보여주었습니다.