Marine Video Kit: 콘텐츠 기반 분석 및 검색을 위한 새로운 해양 영상 데이터셋

이상한 도메인 특화 영상 컬렉션의 효과적인 분석은 현재 최첨단 일반 목적 모델이 여전히 한계를 보이는 중요한 실용적 문제를 제기한다. 따라서 특정 도메인에 맞춰 새로운 강력한 모델을 시험할 수 있도록 추가적인 제약 조건을 포함한 벤치마크 데이터셋을 설계하는 것이 바람직하다. 도메인 특화 데이터는 더 높은 노이즈 수준을 가질 수 있음을 기억하는 것이 중요하다(예: 내시경 영상 또는 수중 영상), 또한 효과적인 검색을 위해서는 보통 더 많은 전문 지식을 가진 사용자가 필요하다. 본 논문에서는 이동하는 카메라에서 촬영된 단일 영상(싱글샷 영상)에 초점을 맞추며, 이는 연구 목적에서 비틀림 없는 도전 과제를 제공한다. 새로운 Marine Video Kit 데이터셋의 첫 번째 샤드(Shard)를 소개하며, 영상 검색 및 기타 컴퓨터 비전 문제 해결을 위한 목적으로 활용할 수 있도록 한다. 본 데이터셋은 2023년 Video Browser Showdown에서 특별 세션에 사용되었다. 기본 메타데이터 통계 외에도, 저수준 특징 및 선택된 핵심 프레임에 대한 의미론적 애노테이션을 기반으로 한 몇 가지 통찰을 제시한다. 분석에는 일반 목적 모델들이 검색 작업에서 보이는 한계를 보여주는 실험도 포함되어 있다. 본 데이터셋과 코드는 https://hkust-vgd.github.io/marinevideokit 에 공개되어 있다.