빠르게 움직이는 물체의 서브프레임 외관 및 6D 자세 추정

우리는 빠르게 움직이는 물체, 특히 비균일한 구형 물체를 6자유도 전체 범위에서 추적하는 새로운 방법을 제안한다. 이 방법은 비디오 프레임 노출 시간의 분수 단위 시간 간격으로, 물체의 3차원 운동 궤적, 3차원 자세, 그리고 물체의 외형 변화를 동시에 추정한다. 프레임 내부(sub-frame)에서의 물체 위치 및 외형 추정은 현실적인 시간 초해상도(temporal super-resolution)와 정밀한 형태 추정을 가능하게 한다. 본 방법은 TbD-3D(3차원에서의 블러 제거를 통한 추적)라 명명되며, 조각별 블러 제거 및 마팅(매트팅) 문제를 해결하는 새로운 재구성 알고리즘에 기반한다. 3차원 회전은 재투영 오차(reprojection error)를 최소화함으로써 추정된다. 두 번째 기여로, 외형과 카메라까지의 거리가 변화하는 빠르게 움직이는 물체를 포함하는 새로운 도전적인 데이터셋을 제시한다. 프레임 노출 간 지연이 없는 고속 카메라 기록을 사용하여 다양한 프레임 속도를 갖는 비디오를 생성하였으며, 각 비디오에는 진짜(ground-truth) 궤적과 자세 정보가 주석으로 표시되어 있다.