HyperAIHyperAI

Command Palette

Search for a command to run...

Multimodale abstraktive Zusammenfassung für How2-Videos

Shruti Palaskar; Jindrich Libovický; Spandana Gella; Florian Metze

Zusammenfassung

In dieser Arbeit untersuchen wir die abstrakte Zusammenfassung für Videos aus offenen Domänen. Im Gegensatz zur traditionellen Textnachrichtenzusammenfassung besteht das Ziel weniger darin, Textinformationen zu „komprimieren“, sondern vielmehr, eine flüssige textuelle Zusammenfassung von Informationen bereitzustellen, die aus verschiedenen Quellmodalitäten gesammelt und fusioniert wurden – in unserem Fall Video- und Audiotranskripte (oder Text). Wir zeigen, wie ein mehrquelliges Sequenz-zu-Sequenz-Modell mit hierarchischer Aufmerksamkeit Informationen aus verschiedenen Modalitäten in einen kohärenten Output integrieren kann, vergleichen verschiedene Modelle, die mit unterschiedlichen Modalitäten trainiert wurden, und präsentieren Pilotexperimente am How2-Korpus von Anleitungsvideos. Darüber hinaus schlagen wir eine neue Evaluationsmetrik (Content F1) für die Aufgabe der abstrakten Zusammenfassung vor, die semantische Adäquatheit anstatt die Flüssigkeit der Zusammenfassungen misst, wobei letztere durch Metriken wie ROUGE und BLEU abgedeckt sind.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Multimodale abstraktive Zusammenfassung für How2-Videos | Paper | HyperAI