HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Verschiedenartige und relevante visuelle Geschichten mit Szenengraph-Embeddings

{Bernt Schiele Vera Demberg Khushboo Mehra Asad Sayeed Rakshith Shetty Xudong Hong}

Verschiedenartige und relevante visuelle Geschichten mit Szenengraph-Embeddings

Abstract

Ein Problem bei automatisch generierten Geschichten für Bildsequenzen besteht darin, dass sie übermäßig generische Vokabeln und Satzstrukturen verwenden und die verteilungsmäßigen Eigenschaften menschlicher Texte nicht adäquat widerspiegeln. Wir adressieren dieses Problem, indem wir explizite Darstellungen für Objekte und deren Beziehungen einführen, indem wir aus den Bildern Szenengraphen extrahieren. Die Nutzung einer Einbettung dieses Szenengraphen ermöglicht es unserem Modell, während der Geschichtengenerierung expliziter über Objekte und deren Beziehungen zu reflektieren, im Vergleich zu globalen Merkmalen eines Objektklassifizierers, wie sie in früheren Arbeiten verwendet wurden. Wir wenden Metriken an, die sowohl die Vielfalt der Wörter und Ausdrücke in den generierten Geschichten als auch die Referenz auf narrativ relevante Bildmerkmale berücksichtigen, und zeigen, dass unser Ansatz gegenüber früheren Systemen übertrifft. Unsere Experimente deuten zudem darauf hin, dass unsere Modelle auch auf referenzbasierten Metriken konkurrenzfähige Ergebnisse erzielen.

Benchmarks

BenchmarkMethodikMetriken
visual-storytelling-on-vistSGEmb
BLEU-1: 62.2
BLEU-2: 38.7
BLEU-3: 23.5
BLEU-4: 14.8
CIDEr: 8.6
METEOR: 35.6
ROUGE-L: 30.2

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Verschiedenartige und relevante visuelle Geschichten mit Szenengraph-Embeddings | Forschungsarbeiten | HyperAI