RGB 비디오를 이용한 제약 없는 손-물체 복원에 대한 연구

우리의 연구는 단일 카메라 비디오에서 손과 조작 객체의 3차원 재구성을 목표로 합니다. 손-객체 조작의 3차원 재구성은 로봇공학과 인간 시연 학습에 큰 잠재력을 가지고 있습니다. 그러나 이 문제에 대한 지도 학습 접근법은 3차원 감독이 필요하며, 3차원 기준 진실(Ground Truth)이 제공되는 제약된 실험실 환경이나 시뮬레이터에 한정됩니다. 본 논문에서는 먼저 두 손 간 객체 상호 작용을 원활하게 처리할 수 있는 학습이 없는(fitting) 손-객체 재구성 방법을 제안합니다. 우리의 방법은 객체 검출, 손 자세 추정 및 인스턴스 분할 등 일반적으로 사용되는 방법으로 얻은 힌트에 의존합니다. 우리는 우리의 접근법을 정량적으로 평가하고, 훈련 데이터가 없는 다양한 난이도의 데이터셋에 적용할 수 있음을 보여줍니다.