ContactDB: 열 영상을 통한 그립 접촉 분석 및 예측

물체를 잡고 조작하는 것은 중요한 인간의 기술입니다. 손과 물체의 접촉이 잡는 데 근본적이기 때문에, 이를 캡처하면 중요한 통찰력을 얻을 수 있습니다. 그러나 외부 센서를 통해 접촉을 관찰하는 것은 가림 현상과 인간 손의 복잡성 때문에 어려움이 따릅니다. 우리는 열화상을 사용하여 잡는 동안 발생하는 풍부한 손-물체 접촉을 캡처할 수 있는 새로운 데이터셋인 ContactDB를 소개합니다. 본 연구에서 참가자들은 후속 잡음 기능 의도(post-grasp functional intent)를 가지고 3D 프린팅된 물체들을 잡았습니다. ContactDB는 50개의 생활용품에 대한 3750개의 3D 메시와 접촉 맵으로 텍스처링된 375,000프레임의 동기화된 RGB-D+열 이미지를 포함하고 있습니다. 우리 지식范围内, 이는 인간의 잡음에 대한 상세한 접촉 맵을 기록한 첫 번째 대규모 데이터셋입니다(범위 내에서 수정).이 데이터를 분석한 결과, 기능적 의도와 물체 크기가 잡는 방식에 미치는 영향, '활성 영역(active areas)'을 만지거나 피하려는 경향, 그리고 손바닥과 가까운 손가락 부분의 높은 접촉 빈도를 확인할 수 있었습니다. 마지막으로, 우리는 최신 이미지 변환 및 3D 컨볼루션 알고리즘을 활용하여 물체 형태로부터 다양한 접촉 패턴을 예측하도록 훈련시켰습니다. 데이터, 코드 및 모델은 https://contactdb.cc.gatech.edu에서 제공됩니다.注: "範圍内" (범위 내) 是为了保持句子的连贯性和完整性而添加的部分，以适应韩语的表达习惯。