HyperAIHyperAI

Command Palette

Search for a command to run...

Beibehaltung der Konsistenz: themenbewusste Geschichtenerzählung aus einem Bildstrom durch iterative Multi-Agenten-Kommunikation

Ruize Wang Zhongyu Wei Ying Cheng Piji Li Haijun Shan Ji Zhang Qi Zhang Xuanjing Huang

Zusammenfassung

Visual Storytelling zielt darauf ab, automatisch einen narrativen Textabschnitt aus einer Folge von Bildern zu generieren. Bestehende Ansätze erstellen für jedes Bild unabhängig eine Textbeschreibung und verketten diese grob zu einer Geschichte, was zu semantisch inkohärenten Inhalten führt. In diesem Artikel schlagen wir einen neuen Ansatz für das Visual Storytelling vor, indem wir eine Aufgabe zur Themenbeschreibung einführen, um den globalen semantischen Kontext einer Bildsequenz zu erkennen. Anschließend wird die Geschichte unter Anleitung der Themenbeschreibung erstellt. Um die beiden Generierungsaufgaben zu kombinieren, schlagen wir einen mehragentenbasierten Kommunikationsrahmen vor, bei dem der Generator der Themenbeschreibung und der Story-Generator als zwei Agenten betrachtet werden, die gleichzeitig über ein iteratives Aktualisierungsmechanismus gelernt werden. Wir validieren unseren Ansatz anhand des VIST-Datensatzes, wobei quantitative Ergebnisse, Ablationsstudien sowie menschliche Bewertungen die Fähigkeit unseres Verfahrens zur Erzeugung von Geschichten höherer Qualität im Vergleich zu aktuellen State-of-the-Art-Methoden belegen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Beibehaltung der Konsistenz: themenbewusste Geschichtenerzählung aus einem Bildstrom durch iterative Multi-Agenten-Kommunikation | Paper | HyperAI