Verschiedenartige und relevante visuelle Geschichten mit Szenengraph-Embeddings

Ein Problem bei automatisch generierten Geschichten für Bildsequenzen besteht darin, dass sie übermäßig generische Vokabeln und Satzstrukturen verwenden und die verteilungsmäßigen Eigenschaften menschlicher Texte nicht adäquat widerspiegeln. Wir adressieren dieses Problem, indem wir explizite Darstellungen für Objekte und deren Beziehungen einführen, indem wir aus den Bildern Szenengraphen extrahieren. Die Nutzung einer Einbettung dieses Szenengraphen ermöglicht es unserem Modell, während der Geschichtengenerierung expliziter über Objekte und deren Beziehungen zu reflektieren, im Vergleich zu globalen Merkmalen eines Objektklassifizierers, wie sie in früheren Arbeiten verwendet wurden. Wir wenden Metriken an, die sowohl die Vielfalt der Wörter und Ausdrücke in den generierten Geschichten als auch die Referenz auf narrativ relevante Bildmerkmale berücksichtigen, und zeigen, dass unser Ansatz gegenüber früheren Systemen übertrifft. Unsere Experimente deuten zudem darauf hin, dass unsere Modelle auch auf referenzbasierten Metriken konkurrenzfähige Ergebnisse erzielen.