시간에 따른 광도 일관성을 활용한 희소 감독 하ンド-오브젝트 재구성

손-물체 조작 모델링은 인간이 환경과 상호작용하는 방식을 이해하는 데 필수적입니다. 실용적인 측면에서 중요하지만, 조작 중에 발생하는 큰 상호 가림 현상(mutual occlusions) 때문에 손과 물체의 자세를 추정하는 것은 어려운 문제입니다. 최근 연구는 많은 양의 라벨된 학습 샘플이 필요한 완전히 지도된(fully-supervised) 방법에 초점을 맞추고 있습니다. 그러나 손-물체 조작에 대한 3D 기준 데이터(ground-truth data)를 수집하는 것은 비용이 많이 들고, 번거롭며, 오류가 발생하기 쉽습니다. 이 문제를 해결하기 위해 우리는 주석이 희소한 프레임들의 부분집합(subset of frames)만 제공되는 경우 시간적으로 일관된 광도 일관성(photometric consistency)을 활용하는 방법을 제시합니다. 우리의 모델은 색상 이미지(color images)에서 손과 물체의 자세를 추론하여 3D로 공동 재구성(jointly reconstruct)하도록 엔드투엔드(end-to-end)로 훈련됩니다. 추정된 재구성을 바탕으로 인접한 이미지 쌍 사이의 광학 흐름(optical flow)을 미분 가능하게(differentiably) 렌더링(rendering)하고, 이를 네트워크 내에서 한 프레임을 다른 프레임으로 변형(warp)시키는 데 사용합니다. 그런 다음 근처 이미지 간의 시각적 일관성(visual consistency)에 의존하는 자기지도(self-supervised) 광도 손실 함수(photometric loss)를 적용합니다. 우리는 3D 손-물체 재구성 벤치마크(benchmarks)에서 최신 수준(state-of-the-art)의 결과를 달성하였으며, 데이터가 부족한 환경(low-data regimes)에서도 우리 접근법이 이웃 프레임들로부터 정보를 활용하여 자세 추정 정확도(pose estimation accuracy)를 개선할 수 있음을 입증하였습니다.