Charaktererhaltende kohärente Geschichtsdarstellung

Die Story-Visualisierung zielt darauf ab, eine Folge von Bildern zu generieren, um jeden Satz einer mehrsätzig erzählten Geschichte darzustellen. Im Gegensatz zur Video-Generierung, die auf die Erhaltung der Kontinuität der generierten Bilder (Bilderfolgen) abzielt, legt die Story-Visualisierung besonderen Wert auf die Aufrechterhaltung der globalen Konsistenz von Figuren und Szenen über verschiedene Story-Bilder hinweg – eine Herausforderung, da die einzelnen Geschichtensätze nur spärliche Signale für die Bildgenerierung liefern. Um diese Herausforderungen anzugehen, schlagen wir einen neuen Ansatz namens Character-Preserving Coherent Story Visualization (CP-CSV) vor. CP-CSV erlernt effektiv die Visualisierung einer Geschichte durch drei zentrale Module: einen Story- und Kontext-Encoder (Lernen von Story- und Satzrepräsentationen), eine Figuren-Hintergrund-Segmentierung (Hilfsaufgabe zur Bereitstellung von Informationen zur Erhaltung von Figuren- und Geschichtskonsistenz) sowie eine figuren- und hintergrundbewusste Generierung (Generierung einer Bildfolge unter Einbeziehung von Figuren-Hintergrund-Informationen). Darüber hinaus schlagen wir eine Metrik namens Fr'{e}chet Story Distance (FSD) vor, um die Leistung der Story-Visualisierung zu bewerten. Umfangreiche Experimente zeigen, dass CP-CSV die Details der Figureninformationen bewahrt und eine hohe Konsistenz zwischen den einzelnen Bildern erreicht, während FSD die Leistung der Story-Visualisierung präziser misst.