15日前
Marine Video Kit:コンテンツベース解析および検索を目的とした新たな海洋動画データセット
Quang-Trung Truong, Tuan-Anh Vu, Tan-Sang Ha, Lokoc Jakub, Yue Him Wong Tim, Ajay Joneja, Sai-Kit Yeung

要約
特異なドメイン固有の動画コレクションに対する効果的な分析は、現状の汎用モデルが依然として限界に直面している重要な実用的課題である。したがって、特定ドメインにおいて新たな強力なモデルを挑戦させるだけでなく、追加の制約条件を課すベンチマークデータセットの設計が望ましい。特に、ドメイン固有のデータはノイズが多い(例えば内視鏡動画や水中動画など)傾向があり、効果的な検索には熟練したユーザーがしばしば必要となる点に留意すべきである。本論文では、水中環境で移動するカメラから撮影された単発動画に注目し、研究上の非自明な課題として取り上げる。新たに開発されたMarine Video Kitデータセットの最初のシャードを提示し、動画検索およびその他のコンピュータビジョン課題への活用を目的としている。本データセットは、2023年のVideo Browser Showdownにて特別セッションで使用された。基本的なメタデータ統計に加え、低レベル特徴に基づく複数の洞察および選定されたキーフレームの意味論的アノテーションも提供する。また、代表的な汎用モデルの検索性能における限界を示す実験結果も含む。本データセットおよび関連コードは、https://hkust-vgd.github.io/marinevideokit にて公開されている。