HyperAIHyperAI

Command Palette

Search for a command to run...

Hierarchischer multimodaler Transformer zur Zusammenfassung von Videos

Bin Zhao Maoguo Gong Xuelong Li

Zusammenfassung

Obwohl die Videozusammenfassung dank rekurrenter neuronaler Netze (RNN) große Erfolge erzielt hat, vernachlässigen RNN-basierte Methoden die globalen Abhängigkeiten und mehrstufigen Beziehungen zwischen Videoframes, was die Leistung einschränkt. Der Transformer ist ein effektives Modell, um dieses Problem zu lösen, und übertrifft RNN-basierte Methoden in mehreren sequentiellen Modellierungsaufgaben, wie maschinelle Übersetzung, Video-Beschreibung etc. Angeregt durch den großen Erfolg des Transformers und der natürlichen Struktur von Videos (Frame-Szene-Video), wurde ein hierarchischer Transformer für die Videozusammenfassung entwickelt, der die Abhängigkeiten zwischen Frames und Szenen erfassen kann und das Video durch Ausnutzen der durch Szenen gebildeten Bildinformation zusammenfasst. Darüber hinaus argumentieren wir, dass sowohl audio- als auch visuelle Informationen für die Aufgabe der Videozusammenfassung essentiell sind. Um diese beiden Arten von Informationen zu integrieren, werden sie in einem Zweistromschema kodiert, und ein multimodales Fusionsmechanismus wurde auf Basis des hierarchischen Transformers entwickelt. In dieser Arbeit wird die vorgeschlagene Methode als Hierarchischer Multimodaler Transformer (HMT) bezeichnet. Praktische umfangreiche Experimente zeigen, dass HMT die meisten traditionellen, RNN-basierten und aufmerksamkeitsbasierten Videozusammenfassungsmethoden übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp