VVS: 관련 없는 프레임 억제를 통한 비디오 간 검색

콘텐츠 기반 영상 검색(CBVR)에서 대규모 컬렉션을 다룰 때 효율성은 정확성과 마찬가지로 중요하므로, 영상 수준의 특징 기반 연구가 적극적으로 진행되어 왔다. 그러나 긴 비트림 영상을 단일 특징으로 임베딩하는 데 따른 극도의 어려움으로 인해, 프레임 수준의 특징 기반 연구에 비해 이러한 영상 수준의 접근법은 정확한 검색에 있어 여전히 부족한 실정이다. 본 논문에서는 부적절한 프레임의 적절한 억제가 영상 수준 접근법의 현재 겪는 한계를 이해하는 데 중요한 통찰을 제공할 수 있음을 보여준다. 또한 이를 해결하기 위해 영상-영상 억제 네트워크(VVS: Video-to-Video Suppression network)를 제안한다. VVS는 간단한 방해 요소 제거 단계와 남은 프레임을 얼마나 억제할지 결정하는 억제 가중치 생성 단계로 구성된 엔드투엔드 프레임워크이다. 이 구조는 콘텐츠가 다양하고 의미 없는 정보가 포함된 비트림 영상을 효과적으로 표현하는 것을 목적으로 한다. 광범위한 실험을 통해 제안한 방법의 유효성을 입증하였으며, 영상 수준 접근법에서 최신 기술 수준에 도달함과 동시에 프레임 수준 접근법과 비슷한 검색 성능을 갖되 빠른 추론 시간을 보이는 것을 확인하였다. 코드는 https://github.com/sejong-rcv/VVS 에서 제공된다.