주목력을 이용한 동영상 요약

본 연구에서는 감독 학습 기반의 키샷(keyshots)을 활용한 비디오 요약 방법으로, 개념적으로 간단하고 계산적으로 효율적인 부드러운 자기 주의(soft self-attention) 메커니즘을 적용하는 새로운 방법을 제안합니다. 현재 최신 기술은 BiLSTM과 같은 양방향 순환 네트워크와 주의 메커니즘을 결합하여 활용하고 있습니다. 이러한 네트워크는 완전 연결 네트워크에 비해 구현이 복잡하며 계산량이 많습니다. 이를 해결하기 위해, 우리는 비디오 요약에 사용되는 간단한 자기 주의 기반 네트워크를 제안합니다. 이 방법은 훈련 시 단일 순전파와 단일 역전파 과정에서 전체 시퀀스를 시퀀스로 변환합니다. 우리의 방법은 이 분야에서 일반적으로 사용되는 TvSum과 SumMe 두 벤치마크에서 새로운 최고 성능 결과를 달성하였습니다.