HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Unüberwachte Videozusammenfassung durch auf Aufmerksamkeit gesteuertes adversariales Lernen

{Ioannis Patras Vasileios Mezaris Alexandros I. Metsai Eleni Adamantidou Evlampios Apostolidis}

Abstract

Diese Arbeit präsentiert einen neuen Ansatz zur Videozusammenfassung, der eine Aufmerksamkeitsmechanik integriert, um die bedeutenden Teile eines Videos zu identifizieren, und unsupervisiert über generative adversarische Lernverfahren trainiert wird. Ausgehend vom SUM-GAN-Modell entwickeln wir zunächst eine verbesserte Version (SUM-GAN-sl), die eine deutlich reduzierte Anzahl an zu lernenden Parametern aufweist, eine inkrementelle Trainingsstrategie für die einzelnen Modulkomponenten ermöglicht und eine schrittweise, auf Labels basierende Strategie zur Aktualisierung des adversarialen Teils anwendet. Anschließend integrieren wir die Aufmerksamkeitsmechanik in SUM-GAN-sl auf zwei Arten: (i) durch Einbindung einer Aufmerksamkeitsschicht innerhalb des variationalen Autoencoders (VAE) der Architektur (SUM-GAN-VAAE), und (ii) durch Ersetzen des VAE durch einen deterministischen Aufmerksamkeitsautoencoder (SUM-GAN-AAE). Experimentelle Evaluierungen auf zwei Datensätzen (SumMe und TVSum) belegen den Beitrag des Aufmerksamkeitsautoencoders zur beschleunigten und stabileren Trainingsdynamik des Modells und zeigen eine signifikante Leistungssteigerung gegenüber dem ursprünglichen Modell. Zudem demonstriert SUM-GAN-AAE seine Wettbewerbsfähigkeit gegenüber dem Stand der Technik.

Benchmarks

BenchmarkMethodikMetriken
unsupervised-video-summarization-on-summeSUM-GAN-AAE
F1-score: 48.9
Parameters (M): 24.31
training time (s): 1639
unsupervised-video-summarization-on-tvsumSUM-GAN-AAE
F1-score: 58.3
Parameters (M): 24.31
training time (s): 5423

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Unüberwachte Videozusammenfassung durch auf Aufmerksamkeit gesteuertes adversariales Lernen | Forschungsarbeiten | HyperAI