Flow에 무엇이 있는가? 시간적 움직임 신호를 활용한 비지도 일반 이벤트 경계 검출

Generic Event Boundary Detection (GEBD, 일반 이벤트 경계 검출) 작업은 비세분화된(taxonomy-free) 경계를 인식하여 비디오를 의미 있는 이벤트로 분할하는 것을 목표로 합니다. 현재의 방법들은 대량의 데이터에서 학습된 신경망 모델을 사용하여 상당한 계산 능력과 저장 공간을 요구합니다. 우리는 GEBD와 관련된 두 가지 중요한 질문을 탐구합니다: 비매개변수(non-parametric) 알고리즘이 감독되지 않은(unsupervised) 신경망 방법보다 우수한 성능을 낼 수 있을까? 운동 정보만으로도 높은 성능을 달성할 수 있을까? 이러한 질문은 우리에게 비디오에서 일반적인 이벤트 경계를 식별하기 위해 운동 힌트(motion cues)를 알고리즘적으로 활용하도록 이끕니다.본 연구에서는 GEBD를 위한 비매개변수적이고 감독되지 않은 기술인 FlowGEBD를 제안합니다. 우리의 접근 방식은 광학 유동(optical flow)을 활용하는 두 가지 알고리즘을 포함합니다: (i) 픽셀 추적(Pixel Tracking) 및 (ii) 유동 정규화(Flow Normalization). Kinetics-GEBD와 TAPOS 데이터셋이라는 어려운 데이터셋에서 철저한 실험을 수행한 결과, FlowGEBD는 감독되지 않은 방법들 중 새로운 최고 수준(SOTA, state-of-the-art) 기술임이 입증되었습니다. FlowGEBD는 Kinetics-GEBD 데이터셋에서 [email protected] 점수가 0.713으로, 감독되지 않은 베이스라인에 비해 절대적인 31.7%의 개선을 보였으며, TAPOS 검증 데이터셋에서는 평균 F1 점수가 0.623을 달성했습니다.