3D 손 재구성: 사전 지식을 활용한 손-물체 상호작용 시나리오를 위한 내부 및 외부 그래프 집합

최근, 3차원 손 재구성은 인간-컴퓨터 협력 분야에서 특히 손-물체 상호작용 시나리오에 더욱 주목받고 있습니다. 그러나 상호작용으로 인한 심각한 손 가림 현상 때문에 정확성과 물리적 타당성의 균형, 모델 매개변수의 높은 비선형 매핑, 그리고 가림 특징 강화 등의 문제로 여전히 큰 도전 과제가 되고 있습니다. 이러한 문제를 해결하기 위해 본 연구에서는 모델 기반 접근법과 모델 자유 접근법의 장점을 결합하여 손-물체 상호작용 시나리오에서 정확성과 물리적 타당성을 균형 있게 유지하는 3차원 손 재구성 네트워크를 제안합니다.첫째, 본 연구는 2D 관절로부터 직접 MANO 자세 매개변수 회귀 모듈을 제시합니다. 이 방법은 추상적인 이미지 특징에서 높은 비선형 매핑 과정을 피하고 정확한 3D 관절에 의존하지 않게 됩니다. 둘째, MANO를 안내하는 새로운 꼭짓점-관절 상호 그래프 주의 모델(vertex-joint mutual graph-attention model)을 제안하여 손 메시와 관절을 공동으로 세밀하게 조정합니다. 이 모델은 꼭짓점 간과 관절 간의 종속성을 모델링하고 꼭짓점-관절 간의 상관관계를 포착하여 각각 그래프 내부 및 그래프 간 노드 특징을 집계합니다.실험 결과, 본 연구의 방법이 최근 벤치마크 데이터셋인 HO3DV2와 Dex-YCB에서 경쟁력 있는 성능을 보였으며, 모든 모델 기반 접근법과 모델 자유 접근법을 능가하였음을 입증하였습니다.