HyperAIHyperAI

Command Palette

Search for a command to run...

Cycle-SUM: Zyklus-konsistente adversarische LSTM-Netzwerke für unüberwachte Videozusammenfassung

Li Yuan; Francis EH Tay; Ping Li; Li Zhou; Jiashi Feng

Zusammenfassung

In dieser Arbeit stellen wir ein neues unüberwachtes Videozusammenfassungsmodell vor, das keine manuelle Annotation erfordert. Das vorgeschlagene Modell, Cycle-SUM genannt, verwendet eine neuartige zyklisch konsistente adversarische LSTM-Architektur, die die Informationsbeibehaltung und Kompaktheit der Zusammenfassungsvideos effektiv maximieren kann. Es besteht aus einem Frameselektor und einem auf zyklisch konsistentem Lernen basierenden Evaluierer. Der Selektor ist ein bidirektionales LSTM-Netzwerk, das Video-Darstellungen lernt, die die langfristigen Beziehungen zwischen Videoframes einbetten. Der Evaluierer definiert ein lernfähiges Informationsbeibehaltungsmaß zwischen dem ursprünglichen Video und der Zusammenfassung und "überwacht" den Selektor, um die informativsten Frames zu identifizieren, aus denen die Zusammenfassung zusammengesetzt wird. Insbesondere besteht der Evaluierer aus zwei generativen adversären Netzen (GANs), wobei das vorwärtsgerichtete GAN gelernt wird, das ursprüngliche Video aus der Zusammenfassung wiederherzustellen, während das rückwärtsgerichtete GAN lernt, den Prozess zu invertieren. Die Konsistenz zwischen den Ausgaben dieses zyklischen Lernens wird als Informationsbeibehaltungsmaß für die Videozusammenfassung verwendet. Wir zeigen die enge Beziehung zwischen der Maximierung der gegenseitigen Information und diesem zyklischen Lernverfahren. Experimente anhand zweier Benchmark-Datensätze zur Videozusammenfassung bestätigen die Spitzenleistung und Überlegenheit des Cycle-SUM-Modells gegenüber früheren Baselines.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp