HyperAIHyperAI

Command Palette

Search for a command to run...

Unüberwachte Videozusammenfassung durch auf Aufmerksamkeit gesteuertes adversariales Lernen

Ioannis Patras Vasileios Mezaris Alexandros I. Metsai Eleni Adamantidou Evlampios Apostolidis

Zusammenfassung

Diese Arbeit präsentiert einen neuen Ansatz zur Videozusammenfassung, der eine Aufmerksamkeitsmechanik integriert, um die bedeutenden Teile eines Videos zu identifizieren, und unsupervisiert über generative adversarische Lernverfahren trainiert wird. Ausgehend vom SUM-GAN-Modell entwickeln wir zunächst eine verbesserte Version (SUM-GAN-sl), die eine deutlich reduzierte Anzahl an zu lernenden Parametern aufweist, eine inkrementelle Trainingsstrategie für die einzelnen Modulkomponenten ermöglicht und eine schrittweise, auf Labels basierende Strategie zur Aktualisierung des adversarialen Teils anwendet. Anschließend integrieren wir die Aufmerksamkeitsmechanik in SUM-GAN-sl auf zwei Arten: (i) durch Einbindung einer Aufmerksamkeitsschicht innerhalb des variationalen Autoencoders (VAE) der Architektur (SUM-GAN-VAAE), und (ii) durch Ersetzen des VAE durch einen deterministischen Aufmerksamkeitsautoencoder (SUM-GAN-AAE). Experimentelle Evaluierungen auf zwei Datensätzen (SumMe und TVSum) belegen den Beitrag des Aufmerksamkeitsautoencoders zur beschleunigten und stabileren Trainingsdynamik des Modells und zeigen eine signifikante Leistungssteigerung gegenüber dem ursprünglichen Modell. Zudem demonstriert SUM-GAN-AAE seine Wettbewerbsfähigkeit gegenüber dem Stand der Technik.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Unüberwachte Videozusammenfassung durch auf Aufmerksamkeit gesteuertes adversariales Lernen | Paper | HyperAI