시간 세기: 야외에서 클래스에 관계없이 비디오 반복 횟수 셈

우리는 비디오에서 동작이 반복되는 주기를 추정하기 위한 접근법을 제시합니다. 이 접근법의 핵심은 시간적 자기 유사성을 중간 표현 병목 현상으로 사용하여 모델이 야생 환경에서 보지 못한 반복에도 일반화할 수 있도록 하는 것입니다. 우리는 다양한 길이의 짧은 클립을 샘플링하고 이를 다른 주기와 횟수로 반복하여 생성된 대규모 라벨되지 않은 비디오 컬렉션에서 얻은 합성 데이터셋을 사용하여 이 모델, 즉 Repnet(리프넷)을 훈련시킵니다. 합성 데이터와 강력하면서도 제약된 모델의 조합은 우리에게 클래스에 상관없이 주기를 예측할 수 있는 능력을 제공합니다. 우리의 모델은 기존의 주기성(PERTUBE) 및 반복 횟수(QUVA) 벤치마크에서 현저히 뛰어난 성능을 보입니다. 또한 실제 환경 비디오에서 반복 횟수를 세는 과정의 도전 과제를 포착한 새로운 도전적인 데이터셋인 Countix(카운티кс)(기존 데이터셋보다 약 90배 크다)를 수집하였습니다. 프로젝트 웹페이지: https://sites.google.com/view/repnet .