초록
샷 경계 검출(Shot Boundary Detection, SBD)은 행동 인식, 비디오 색인화, 요약 및 편집 등 다양한 비디오 분석 작업의 중요한 구성 요소입니다. 이전 연구에서는 일반적으로 컬러 히스토그램과 같은 저수준 특징을 사용하여 단순한 모델(SVMs)과 결합하는 방법을 채택하였습니다. 대신에, 우리는 픽셀에서 최종 샷 경계까지를 학습하는 엔드투엔드(end-to-end) 방식의 샷 검출을 제안합니다. 이러한 모델을 훈련시키기 위해, 모든 샷 경계가 생성된다는 우리의 통찰력을 바탕으로 1백만 프레임과 자동으로 생성된 컷(cuts), 디졸브(dissolves), 페이드(fades) 등의 전환 효과로 구성된 데이터셋을 만들었습니다. 수 시간 동안의 비디오를 효율적으로 분석하기 위해, 우리는 시간적으로 완전히 합성곱(Convolutional Neural Network, CNN) 구조를 가진 신경망을 제안합니다. 이 구조는 프레임을 반복적으로 처리할 필요 없이 큰 시간적 맥락을 활용할 수 있어, 최고 수준의 결과를 얻으면서도 실시간보다 120배 이상 빠른 속도로 실행됩니다.