HOISDF: 전역 부호 거리 필드를 사용한 3D 손-물체 자세 추정 제약

인간의 손은 물체를 다루는 데 매우 복잡하고 유연합니다. 단일 카메라에서 손과 그가 조작하는 물체의 3D 자세를 동시에 추정하는 것은 자주 발생하는 가림 현상 때문에 어려운 문제입니다. 따라서 기존 방법들은 성능을 향상시키기 위해 중간 3D 형태 표현에 의존하는 경우가 많습니다. 이러한 표현은 일반적으로 명시적(Explicit)으로, 예를 들어 3D 포인트 클라우드나 메시(Mesh)와 같은 형태이며, 이로 인해 중간 손 자세 추정의 직접적인 주변 정보를 제공합니다. 이를 해결하기 위해 우리는 HOISDF(HOISDF: Signed Distance Field(SDF) 안내형 손-물체 자세 추정 네트워크)를 소개합니다. HOISDF는 손과 물체의 SDF를 공동으로 활용하여 전체 재구성 부피에 대한 전역적이고 암시적인 표현을 제공합니다. 구체적으로, SDF의 역할은 세 가지입니다: 시각 인코더(Visual Encoder)에 암시적 형태 정보를 제공하고, 손-물체 상호 작용을 인코딩하는 데 도움을 주며, SDF 기반 샘플링 및 특징 표현 강화(Augmenting the Feature Representations)를 통해 손과 물체의 자세 회귀(Pose Regression)를 안내합니다. 우리는 HOISDF가 DexYCB와 HO3Dv2 벤치마크에서 최신 연구 결과(State-of-the-Art Results)를 달성함을 보여줍니다. 코드는 https://github.com/amathislab/HOISDF에서 확인할 수 있습니다.