HMP: 비디오에서 포즈와 형태 추정을 위한 손 동작 사전 정보

인간이 세상과 상호작용하는 방식을 이해하기 위해서는 정확한 3D 손 자세 추정이 필요합니다. 이 작업은 손의 높은 관절 운동성, 빈번한 가림 현상, 자기 가림 현상 및 급속한 움직임으로 인해 복잡해집니다. 대부분의 기존 방법은 단일 이미지 입력에 의존하지만, 비디오는 위와 같은 문제를 해결하는 데 유용한 힌트를 제공합니다. 그러나, 기존의 비디오 기반 3D 손 데이터셋은 야외 환경에서 일반화할 수 있는 순방향 모델을 훈련시키기에 충분하지 않습니다. 반면에, 다양한 손 움직임을 포함하고 있는 대규모 인간 동작 캡처 데이터셋(예: AMASS)에 접근할 수 있습니다. 따라서, 우리는 AMASS 데이터셋을 활용하여 다양한이고 고품질의 손 움직임을 특징으로 하는 생성적 동작 사전을 개발하였습니다. 이 동작 사전은 잠재 최적화 접근법을 따르는 비디오 기반 3D 손 동작 추정에 사용됩니다. 우리의 강건한 동작 사전 통합은 특히 가림 현상이 발생하는 경우 성능을 크게 향상시킵니다. 이는 안정적이며 시간적으로 일관된 결과를 생성하여 전통적인 단일 프레임 방법론보다 우수한 성능을 보입니다. HO3D와 DexYCB 데이터셋에서 질적 및 양적 평가를 통해 우리 방법론의 효과성을 입증하였으며, 특히 HO3D의 가림 현상 중심 하위 집합에 중점을 두었습니다. 코드는 다음 링크에서 확인 가능합니다: https://hmp.is.tue.mpg.de