HOnnotate: 손과 물체 자세의 3D 주석 방법

우리는 객체를 조작하는 손의 이미지를 주석화하는 방법을 제안합니다. 이 방법은 손과 객체의 3D 자세를 함께 주석화하며, 이를 사용하여 생성된 데이터셋도 함께 제시합니다. 우리의 동기는 이 문제에 대한 주석화된 실제 이미지가 현재 부족하다는 점입니다. 3D 자세 추정이 어려운 이유는 대부분 손과 객체 간의 상호 가림 현상 때문입니다. 이러한 도전 과제를 해결하기 위해, 우리는 하나 또는 여러 개의 RGB-D 카메라로 시퀀스를 캡처하고 모든 프레임에서 simultaneously(동시에) 손과 객체의 3D 자세를 공동으로 최적화합니다. 이 방법은 큰 상호 가림 현상에도 불구하고 각 프레임을 정확한 자세 추정으로 자동으로 주석화할 수 있게 해줍니다. 이를 통해 우리는 HO-3D, 즉 손과 객체 모두에 3D 주석이 포함된 첫 번째 마커 없는 색상 이미지 데이터셋을 생성했습니다. 이 데이터셋은 현재 77,558개의 프레임, 68개의 시퀀스, 10명의 피실험자, 그리고 10개의 객체로 구성되어 있습니다. 우리의 데이터셋을 사용하여, 우리는 심각한 가림 상태에서도 객체와 상호 작용하는 손의 자세를 예측하는 단일 RGB 이미지 기반 방법을 개발하였으며, 이 방법이 데이터셋에 나타나지 않은 객체들에도 일반화됨을 보여주었습니다.