Marine Video Kit: Ein neuer mariner Video-Datensatz für die inhaltsbasierte Analyse und Abfrage

Die effektive Analyse ungewöhnlicher, domain-spezifischer Videokollektionen stellt ein wichtiges praktisches Problem dar, bei dem state-of-the-art-Modelle generischen Typs weiterhin Grenzen erfahren. Daher ist es wünschenswert, Benchmark-Datensätze zu entwerfen, die neue, leistungsstarke Modelle für spezifische Domänen unter zusätzlichen Einschränkungen herausfordern. Es ist wichtig zu beachten, dass domain-spezifische Daten oft rauschhafter sein können (z. B. endoskopische oder unterwasserbasierende Videos) und häufig erfahrener Benutzer für eine effektive Suche erfordern. In diesem Paper konzentrieren wir uns auf Einzelszenen-Videos, die aus bewegten Kameras in unterwasserumgebungen aufgenommen wurden, was eine nicht-triviale Herausforderung für Forschungszwecke darstellt. Der erste Shard eines neuen Marine Video Kit-Datensatzes wird vorgestellt, um der Video-Abfrage und weiteren Aufgaben im Bereich Computer Vision zu dienen. Unser Datensatz wird in einer speziellen Sitzung während des Video Browser Showdown 2023 verwendet. Neben grundlegenden Metadaten-Statistiken präsentieren wir mehrere Erkenntnisse basierend auf Low-Level-Features sowie semantischen Annotationen aus ausgewählten Schlüsselbildern. Die Analyse umfasst zudem Experimente, die die Grenzen respektierter allgemeiner Modelle für die Abfrage aufzeigen. Der Datensatz und der zugehörige Code sind öffentlich unter https://hkust-vgd.github.io/marinevideokit verfügbar.