ContactPose: 물체 접촉 및 손의 자세를 포함한 그립 데이터셋

인간에게는 잡는 동작이 자연스럽습니다. 그러나 이는 복잡한 손의 형태와 연부조직의 변형을 포함하여, 손과 물체 사이에서 복잡한 접촉 영역을 초래할 수 있습니다. 이러한 접촉을 이해하고 모델링하는 것은 손 모델, 증강현실/가상현실(AR/VR) 경험, 그리고 로봇 잡기 기술의 개선에 잠재적으로 도움이 될 수 있습니다. 그럼에도 불구하고, 현재 우리는 접촉 모델링 기술을 개발하고 평가하기 위해 필수적인 손-물체 접촉 데이터셋과 다른 데이터 모드를 결합한 것이 부족합니다. 우리는 ContactPose를 소개합니다. ContactPose는 손 포즈, 물체 포즈, 그리고 RGB-D 이미지와 함께 결합된 첫 번째 손-물체 접촉 데이터셋입니다. ContactPose는 50명의 참가자가 25개의 가정용 물품을 2가지 기능적 의도로 잡은 2306개의 고유한 잡기 동작과 290만 개 이상의 RGB-D 잡기 이미지를 포함하고 있습니다. ContactPose 데이터 분석은 손 포즈와 접촉 간의 흥미로운 관계를 밝혀냈습니다. 우리는 이 데이터를 사용하여 다양한 데이터 표현 방식, 문헌에서 제시된 휴리스틱, 그리고 접촉 모델링을 위한 학습 방법들을 철저히 평가하였습니다. 데이터, 코드, 그리고 학습된 모델들은 https://contactpose.cc.gatech.edu에서 이용 가능합니다.