대규모, 빠르고 정확한 샷 경계 검출을 위한 시공간 합성곱 신경망

샷 경계 검출(SBD)은 비디오 조작을 위한 중요한 사전 처리 단계입니다. 여기서 각 프레임 세그먼트는 선명한 전환, 점진적인 전환 또는 전환이 없는 경우로 분류됩니다. 현재의 SBD 기술들은 수작업으로 설계된 특징들을 분석하고, 검출 정확도와 처리 속도를 동시에 최적화하려고 시도합니다. 그러나 광학 흐름(optical flow)의 복잡한 계산이 이를 방해합니다. 이 목표를 달성하기 위해, 우리는 시공간 컨벌루션 신경망(CNN)을 기반으로 하는 SBD 기술을 제시합니다. 현재 데이터셋들이 충분히 크지 않아 정확한 SBD CNN을 학습시키기 어렵기 때문에, 우리는 350만 개 이상의 선명한 전환과 점진적인 전환 프레임을 포함하는 새로운 데이터셋을 제시합니다. 이 전환들은 이미지 합성 모델을 사용하여 합성적으로 생성되었습니다. 또한 우리의 데이터셋은 중요한 하드-네거티브(hard-negative) 전환이 없는 7만 개의 추가 프레임을 포함하고 있습니다. 우리는 실데이터와 합성 데이터를 포함하여 485만 개 이상의 프레임에 대해 하나의 SBD 알고리즘에 대한 지금까지 가장 큰 평가를 수행했습니다. 최신 연구와 비교할 때, 우리는 점진적 녹화(dissolve gradual detection)에서 우수한 성능을 보이며, 선명한 검출에서는 경쟁력 있는 성능을 내며, 와이프(wipes)에서는 상당한 개선 효과를 나타냅니다. 또한, 우리는 최신 연구보다 최대 11배 빠릅니다.