포인트오디세이: 장기 포인트 추적을 위한 대규모 합성 데이터셋

우리는 장기적인 미세한 추적 알고리즘의 훈련과 평가를 위한 대규모 합성 데이터셋 및 데이터 생성 프레임워크인 PointOdyssey를 소개한다. 본 연구의 목적은 자연스러운 운동을 포함하는 장시간 영상에 초점을 맞추어 기존 기술 수준을 한층 끌어올리는 것이다. 자연스러움을 구현하기 위해, 실제 움직임 캡처 데이터를 활용하여 변형 가능한 캐릭터를 애니메이션하고, 캡처 환경과 일치하는 3D 장면을 구축하며, 실제 영상에서 구조-모션(Structure-from-Motion)을 통해 추출한 카메라 경로를 사용해 렌더링된 카메라 시점(뷰포인트)을 생성한다. 캐릭터 외형, 운동 프로파일, 재질, 조명, 3D 자산, 대기 효과 등을 무작위로 조합함으로써 조합적 다양성을 창출하였다. 현재 PointOdyssey 데이터셋은 총 104개의 영상으로 구성되어 있으며, 평균 길이가 2,000 프레임에 달하며, 이전 연구 대비 수 개의 주어진 대응(annotation) 레이블을 훨씬 초과하는 양의 레이블을 포함하고 있다. 우리는 기존의 방법들이 본 데이터셋에서 처음부터 훈련 가능함을 보이며, 기존에 발표된 변형 대비 우수한 성능을 달성함을 입증하였다. 마지막으로, PIPs 점 추적 기법에 대한 개선 사항을 제안하여 시간적 수용 영역(temporal receptive field)을 크게 확장하였으며, 이는 PointOdyssey에서의 성능 향상은 물론, 두 개의 실제 세계 기준 데이터셋에서도 성능 개선을 이끌어냈다. 본 연구의 데이터와 코드는 공개되어 있으며, 다음 링크에서 확인할 수 있다: https://pointodyssey.com