HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

SentiStory: Ein mehrschichtiges, sentimentbewusstes generatives Modell für visuelle Geschichten

{Jianwei Niu Xuefeng Liu Wei Chen}

Abstract

Die Aufgabe des visuellen Geschichtenerzählens (Visual Storytelling, VIST) zielt darauf ab, sinnvolle, menschlich erscheinende und kohärente Geschichten auf Basis von Bildsequenzen zu generieren. Obwohl viele tiefgreifende Lernmodelle bereits vielversprechende Ergebnisse erzielt haben, berücksichtigen die meisten von ihnen die Stimmungsinformationen von Geschichten nicht direkt. In diesem Paper stellen wir ein stimmungsbehaftetes Generativmodell für VIST namens SentiStory vor. Der Schlüssel von SentiStory ist ein mehrschichtiger Stimmungsextraktionsmodul (Multi-Layered Sentiment Extraction Module, MLSEM). Für eine gegebene Bildsequenz liefert die höhere Schicht grobgezeichnete, jedoch genaue Stimmungen, während die tiefere Schicht des MLSEM fein granulierte, jedoch meist unzuverlässige Stimmungen extrahiert. Diese beiden Schichten werden strategisch kombiniert, um kohärente und reichhaltige visuelle Stimmungskonzepte für die VIST-Aufgabe zu generieren. Ergebnisse aus automatisierten sowie menschlichen Bewertungen zeigen, dass SentiStory durch die Nutzung des MLSEM eine Verbesserung bei der Generierung kohärenterer und menschlicher erscheinender Geschichten erreicht.

Benchmarks

BenchmarkMethodikMetriken
visual-storytelling-on-vistSentiStory
BLEU-1: 65.5
BLEU-2: 40.7
BLEU-3: 24.1
BLEU-4: 14.8
CIDEr: 10.1
METEOR: 35.7
ROUGE-L: 30.2

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
SentiStory: Ein mehrschichtiges, sentimentbewusstes generatives Modell für visuelle Geschichten | Forschungsarbeiten | HyperAI