HyperAIHyperAI

Command Palette

Search for a command to run...

Videozusammenfassung mit aufmerksamkeitsbasierten Encoder-Decoder-Netzwerken

Zhong Ji Kailin Xiong Yanwei Pang Xuelong Li

Zusammenfassung

Dieses Papier behandelt das Problem der überwachten Videosummarisierung, indem es dieses als ein Sequenz-zu-Sequenz-Lernproblem formuliert, bei dem die Eingabe eine Sequenz von Originalvideobildern und die Ausgabe eine Schlüsselbildsequenz ist. Unser zentrales Konzept besteht darin, ein tiefes Summarisierungsnetzwerk mit Aufmerksamkeitsmechanismus zu erlernen, um den Vorgang der Auswahl von Schlüsselbildern durch Menschen nachzuahmen. Zu diesem Zweck schlagen wir einen neuen Videosummarisierungsrahmen vor, den wir als „Attentive Encoder-Decoder Networks for Video Summarization“ (AVS) bezeichnen. Dabei verwendet der Encoder ein bidirektionales Long Short-Term Memory (BiLSTM)-Netzwerk, um die kontextuellen Informationen zwischen den Eingabevideobildern zu kodieren. Für den Decoder werden zwei aufmerksamkeitsbasierte LSTM-Netzwerke mit additiven und multiplikativen Zielfunktionen jeweils untersucht. Umfangreiche Experimente wurden an drei Benchmark-Datensätzen für Videosummarisierung durchgeführt, nämlich SumMe und TVSum. Die Ergebnisse zeigen die Überlegenheit der vorgeschlagenen AVS-basierten Ansätze gegenüber den Stand-der-Technik-Ansätzen, wobei Verbesserungen von 0,8 % bis 3 % an zwei Datensätzen festgestellt wurden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp