손과 조작된 물체의 공동 재구성 학습

손과 물체의 조작을 추정하는 것은 인간 행동을 해석하고 모방하는 데 필수적입니다. 이전 연구에서는 손의 자세와 물체의 형태를 개별적으로 재구성하는 데 상당한 진전을 이루었습니다. 그러나, 조작 중인 손과 물체를 재구성하는 것은 손과 물체 모두가 크게 가려지는(occlusions) 이유로 더욱 어려운 과제입니다. 이러한 도전에도 불구하고, 접촉의 물리학이 유효한 손-물체 구성 공간을 제한하기 때문에 조작은 문제를 단순화할 수도 있습니다. 예를 들어, 조작 중인 손과 물체는 서로 접촉해야 하지만, 겹쳐져서는 안 됩니다. 본 연구에서는 조작 제약 조건으로 손과 물체의 공동 재구성을 규제합니다. 우리는 물리적으로 타당한 손-물체 구성을 선호하는 새로운 접촉 손실 함수(contact loss)를 활용하는 end-to-end 학습 가능한 모델을 제시합니다. 우리의 접근 방식은 기준선(baselines)보다 그립 품질 지표(grasp quality metrics)를 개선하며, RGB 이미지를 입력으로 사용합니다. 모델을 학습시키고 평가하기 위해 우리는 또한 손-물체 조작 데이터를 포함하는 새로운 대규모 합성 데이터셋 ObMan을 제안합니다. 우리는 ObMan에서 학습된 모델들의 실제 데이터로의 전이 가능성을 시연하였습니다.