시간 주기 일관성 학습

우리는 비디오 간의 시간 정렬 작업을 기반으로 하는 자기 지도 표현 학습 방법을 소개합니다. 이 방법은 시간 주기 일관성(TCC)이라는 미분 가능한 주기 일관성 손실 함수를 사용하여 여러 비디오에서 시간적 대응 관계를 찾는 데 활용됩니다. 학습된 임베딩 공간에서 가장 가까운 이웃을 찾아 프레임을 매칭함으로써 비디오를 정렬할 수 있는 프레임별 임베딩이 생성됩니다.임베딩의 성능을 평가하기 위해, 우리는 Pouring 및 Penn Action 비디오 데이터셋에 대해 액션 단계를 밀집적으로 라벨링했습니다. 실험 결과 (i) 학습된 임베딩은 이러한 액션 단계의 소수 샘플 분류(few-shot classification)를 가능하게 하며, 감독 학습 요구 사항을 크게 줄일 수 있음을 보였습니다; 그리고 (ii) TCC는 비디오에서의 다른 자기 지도 학습 방법(예: Shuffle and Learn, Time-Contrastive Networks)과 보완적인 관계에 있음을 확인하였습니다. 또한, 비디오 쌍 간의 정렬(밀집 시간 대응)을 기반으로 하는 다양한 응용 프로그램에서도 이 임베딩이 활용되었습니다. 이에는 동기화된 모달리티 간의 메타데이터 전송(사운드, 시간적 의미 라벨), 다중 비디오的同时播放(동시 재생), 이상 징후 탐지 등이 포함됩니다. 프로젝트 웹페이지: https://sites.google.com/view/temporal-cycle-consistency .注意：在最后一句中，“同时播放”被翻译为“동시 재생”，这是韩语中的正确表达。