11 天前

海洋视频工具包:用于基于内容分析与检索的新型海洋视频数据集

Quang-Trung Truong, Tuan-Anh Vu, Tan-Sang Ha, Lokoc Jakub, Yue Him Wong Tim, Ajay Joneja, Sai-Kit Yeung
海洋视频工具包:用于基于内容分析与检索的新型海洋视频数据集
摘要

对特定领域视频数据集的高效分析构成了一个重要的实际问题,当前最先进的通用模型在此类任务中仍存在明显局限。因此,设计能够针对特定领域并引入额外约束条件、以挑战新型强大模型的基准数据集显得尤为必要。需要特别注意的是,特定领域的数据往往具有更高的噪声水平(例如内窥镜视频或水下视频),且通常需要具备更丰富经验的用户才能实现有效检索。本文聚焦于由移动摄像设备拍摄的单帧水下视频,这类数据对研究工作构成了非平凡的挑战。为此,我们发布了全新“海洋视频工具包”(Marine Video Kit)数据集的首个数据分片,旨在支持视频检索及其他计算机视觉任务。该数据集已被应用于2023年Video Browser Showdown的专题研讨环节。除基础元数据统计信息外,本文还基于低层特征以及部分关键帧的语义标注,提供了多项深入洞察。此外,文中还通过实验展示了现有主流通用模型在检索任务中的局限性。本数据集及配套代码已公开发布,访问地址为:https://hkust-vgd.github.io/marinevideokit。

海洋视频工具包:用于基于内容分析与检索的新型海洋视频数据集 | 最新论文 | HyperAI超神经